Intel オープンソース NPU アクセラレーション ライブラリ、Core Ultra プロセッサ AI PC は軽量の大規模言語モデルを実行可能

3 月 4 日のニュースでは、Intel が最近 GitHub で NPU アクセラレーション ライブラリをリリースしたことを示しました。この動きにより、Core Ultra プロセッサを搭載した AI PC は、TinyLlama や Gemma-2b などの軽量で大規模なアプリケーションをよりスムーズに実行できるようになります。言語モデル。

Core Ultra シリーズには初めて NPU AI エンジンが統合されており、このエンジンはいくつかの軽量 AI 推論タスクを処理し、CPU および GPU と連携してさまざまなニーズに対応できます。 . AI アプリケーションの要件。

今回リリースされた NPU アクセラレーション ライブラリは主に開発者向けに用意されていることがわかりますが、一定のプログラミング経験のあるユーザーでも利用できます。も試してみてください。 Intel のソフトウェア アーキテクトである Tony Mongkolsmai 氏は、11 億パラメータの TinyLlama 大型モデルに基づく AI チャットボットを MSI Monarch 14 AI Evo ラップトップで実行する方法をデモンストレーションしました。この AI チャットボットは簡単な会話を行うことができます。同時に、Windows タスク マネージャーには、NPU への有効な呼び出しも表示されます。

ただし、現在のオープンソース NPU アクセラレーション ライブラリには、8 ビット量子化と FP16 精度をサポートしていますが、4 ビット量子化はまだサポートされていないため、機能的にまだいくつかの欠点があります。 NPU/GPU ハイブリッド コンピューティングなどの高度な機能と同様に、関連する技術ドキュメントはまだ提供されていません。しかし、インテルは将来的に機能を段階的に拡張することを約束しており、これにより既存の機能が2倍になることが見込まれており、AI開発者にとってより利便性と可能性がもたらされることは間違いありません。

以上がIntel オープンソース NPU アクセラレーション ライブラリ、Core Ultra プロセッサ AI PC は軽量の大規模言語モデルを実行可能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。