しばやん雑記

Azure とメイドさんが大好きなフリーランスのプログラマーのブログ

2024-06-04から1日間の記事一覧

C# と ONNX Runtime Generative AI (DirectML) を使って Phi-3 をローカルで動かす

Build 2024 では Windows などローカルのリソースを使って Generative AI を動かすという話が非常に多かったように、Keynote でも度々取り上げられた Phi-3 についても AWQ で 4-bit 量子化された DirectML で利用可能な ONNX モデルが公開されています。セ…