しばやん雑記

Azure とメイドさんが大好きなフリーランスのプログラマーのブログ

C# と ONNX Runtime Generative AI (DirectML) を利用して Phi-3 Vision をローカルで動かす

C#

以前に ONNX Runtime Generative AI に対応した Phi-3 mini / medium のモデルを利用して、ローカルマシンの DirectML アクセラレーションが効く形で動かしてみました。本命と考えている NPU に最適化された Phi-Silica はまだ利用可能になっていないので、…

Azure Functions の .NET In-Process 向け .NET 8 サポートがリリースされました

公式ブログで予告されてからかなり時間がかかっていましたが、ようやく Azure Functions の .NET In-Process Model での .NET 8 対応がリリースされました。大々的なリリースは行われておらず、GitHub の Issue とドキュメント更新に留まっているのは開発チ…

Snapdragon X Elite 搭載の Surface Laptop 7 と 10GbE と Wi-Fi 7 に対応した Deco BE85 を購入した

いい加減に Surface Laptop 4 が遅くて熱くて USB-C が 1 つしかないのに耐えられなくなったので、Build 2024 の前日に発表された Snapdragon X Elite を搭載した Surface Laptop 7 を購入して乗り換えました。搭載メモリ量を 16GB と 32GB でかなり悩みまし…

AI Toolkit for VS Code を使って手軽にローカルで Mistral-7B と Phi-3 mini を試す

Build 2024 で Microsoft の AI 戦略が Cloud から Cloud と Edge を組み合わせるように変化したと感じていますが、その決定的なものが今回紹介する AI Toolkit for VS Code だと考えています。元々 Windows AI Studio として存在していた拡張機能の進化バー…

Azure Cosmos DB for NoSQL でサポートされた Vector Search (Preview) を試した

Build 2024 で発表された Cosmos DB のアップデートの中でも注目度の高い Vector Search (Preview) について、実際に試して深堀しておきました。これまで Azure で Vector Search を実行するにはコストが高い割に SLA の低い AI Search を使う必要がありまし…

C# と ONNX Runtime Generative AI (DirectML) を使って Phi-3 をローカルで動かす

C#

Build 2024 では Windows などローカルのリソースを使って Generative AI を動かすという話が非常に多かったように、Keynote でも度々取り上げられた Phi-3 についても AWQ で 4-bit 量子化された DirectML で利用可能な ONNX モデルが公開されています。セ…

Microsoft Build 2024 で発表された Azure Cosmos DB for NoSQL のアップデート

Microsoft Build 2024 では Serverless Computing 領域で注目度の高いアップデートが多かったですが、Cosmos DB も Generative AI に対応したデータストアとして進化を続けています。昨今は Generative AI を意識したアップデートが Azure 全体的に多いので…

Microsoft Build 2024 で発表された App Service / Azure Functions / Container Apps のアップデート

先週開催された Microsoft Build 2024 は去年同様メイントピックは Generative AI でしたが、Azure Serverless 周りのアップデートが去年以上に発表されました。現地参加ではみたいセッションが被りすぎていてキャッチアップが遅れてしまうことが多いので、…

Microsoft Entra ID の B2B コラボレーションの招待を Microsoft Graph SDK から行う

Microsoft Entra ID には External ID として別テナントのユーザーを招待する B2B コラボレーションという機能が用意されています。最近は External ID の扱いが良くわからなくなっていますが、今は B2B コラボレーションは External ID 扱いらしいです。Azu…

Azure OpenAI Service の GPT-4o Early Access を REST API と Azure SDK から無理やり使ってみた

昨夜の OpenAI の Spring Update で新しいフラグシップとなる GPT-4o が発表されましたね。かなり応答が高速になっているのに価格も下がっているという革新的なモデルとなっています。GPT-4 Turbo をアプリケーションで利用する上での大きな障害はその応答の…