Visual Studio Code があれば簡単に Phi-3 などの SLM が試せる AI Toolkit for VS Code を便利に使っています。x64 の Windows であれば DirectML 経由での GPU アクセラレーションにも対応しているので、高速な推論が利用できてさらに便利です。
そんな便利な AI Toolkit for VS Code ですが macOS だけサポートされていなかったため、手持ちの M2 搭載の MacBook AIr では試せなかったのですが、つい先日リリースされた v0.4.0 で Apple Silicon の macOS へのサポートが追加されていました。
Intel Mac への対応は not yet supported と書かれてはいますが、正直今後も行われないと思っています。追加で AI PC (Copilot PC) のサポートも謳われているのは気になりますね。
早速 M2 MacBook AIr で AI Toolkit を試していきます。macOS 上の VS Code で AI Toolkit を検索すると、今はインストールが出来るようになっていますので、サクッとインストールしてしまいます。
Model Catalog には Windows と同じく Mistral-7B と Phi-3 mini が表示されますので、ダウンロードすればすぐに Model Playground で試せます。
現時点では CPU で推論を行う専用のモデルのみ表示されます。M2 にも GPU や NPU 相当の Neural Engine が載っているので、その辺りを使ったアクセラレーションが有効になればかなり良いですね。
今回は Phi-3 mini 4k をダウンロードして Model Playground で試しましたが、CPU を使った推論としてはかなり速いように感じました。以前に試した Surface Laptop 4 の推論よりは数倍速いという印象を持ちました。
生成 AI の推論は CPU の性能よりもメモリ帯域の方が重要になるという話を Build 2024 で聞いたので、M2 の広いメモリ帯域がかなり活きているのかと思っています。
それを裏付けるかのように、推論実行時の CPU 使用率は 50% 弱と思ったよりも高くありません。高性能コアに負荷が偏っている可能性はありますが、思ったより負荷は低いという印象です。
とはいえ GPU / NPU でのアクセラレーションは期待したいので、このあたりはもうちょっと標準でアクセラレーションを利用できる仕組みが出来ればよいのになと思います。
ちなみに "AI PC (Copilot PC) is supported" と書いていましたが、元々 0.4.0 より前のバージョンでも使えていたのと、特に NPU が使われるようになったという訳でも無さそうでした。
そろそろ NPU に対応した DirectML が使えるようになって欲しいのですが、全然情報が出てきませんね。Phi-Silica も早く試したいのですが、こちらも SDK が公開されていないので困ります。
