しばやん雑記

Azure とメイドさんが大好きなフリーランスのプログラマーのブログ

ONNX Runtime

Microsoft.Extensions.AI 向けに ONNX Runtime Generative AI を使うクラスを書いてみた

前回試してみた Microsoft.Extensions.AI (MEAI) は OpenAI や Azure AI Inference 向けにはライブラリが用意されているので、非常に簡単に Generative AI の機能を利用出来るようになっています。抽象化されたインターフェースにより、OpenAI や Azure AI I…

ONNX Runtime の QNN Execution Provider を使って Snapdragon X Elite の NPU で画像分類を行ってみた

そろそろ NPU を使うとどのくらいの性能が出るのか気になっていたのですが、DirectML の Snapdragon X Elite の NPU 対応は自分の手元では全然動作しなかったので、ひとまずは Qualcomm AI Engine Direct SDK (QNN SDK) を使って NPU を使ってみることにしま…

C# と ONNX Runtime Generative AI (DirectML) を利用して Phi-3 Vision をローカルで動かす

以前に ONNX Runtime Generative AI に対応した Phi-3 mini / medium のモデルを利用して、ローカルマシンの DirectML アクセラレーションが効く形で動かしてみました。本命と考えている NPU に最適化された Phi-Silica はまだ利用可能になっていないので、…

C# と ONNX Runtime Generative AI (DirectML) を使って Phi-3 をローカルで動かす

Build 2024 では Windows などローカルのリソースを使って Generative AI を動かすという話が非常に多かったように、Keynote でも度々取り上げられた Phi-3 についても AWQ で 4-bit 量子化された DirectML で利用可能な ONNX モデルが公開されています。セ…