新しい AI アルゴリズムを発表: 消費電力は従来構成の 1/50、メモリ使用量は 1/10 に削減

6月27日のこのサイトのニュースによると、カリフォルニア大学サンタクルーズ校の研究チームは、わずか13Wの電力（電力に相当）で10億のパラメータ規模の大規模言語を実行できる新しい方法を開発しました。現代の LED 電球の）モデル。比較のために、大規模な言語モデルのタスク用のデータセンターグレードの GPU には約 700W が必要です。

AIの波の下では、多くの企業や機関の主な研究方向は応用と推論であり、効率などの指標はほとんど考慮されていません。この状況を軽減するために、研究者は行列の乗算という集中的な手法を排除し、マイナス 1、ゼロ、プラス 1 の 3 つの値のみを持つ「三ニオン」ソリューションを提案しました。

チームはまた、フィールド プログラマブル ゲート アレイ (FPGA) と呼ばれる高度にカスタマイズされた回路を使用してカスタム ハードウェアを作成し、ニューラル ネットワークのすべての省エネ機能を最大限に活用できるようにしました。

カスタム ハードウェアで実行すると、Meta の Llama などの上位モデルと同じパフォーマンスを達成できますが、ニューラル ネットワークの能力は従来の構成の 50 分の 1 です。

このニューラル ネットワークの設計は、人工知能業界で一般的に使用されている標準的な GPU での実行にも使用できます。テスト結果では、行列乗算に基づくニューラル ネットワークと比較して、メモリ使用量がわずか 10 分の 1 であることが示されています。

参照アドレスはこのサイトに添付されています

研究者は、電球に電力を供給するのに必要なエネルギーで高性能の大規模言語モデルを実行します

スケーラブルな MatMul フリー言語モデリング

以上が新しい AI アルゴリズムを発表: 消費電力は従来構成の 1/50、メモリ使用量は 1/10 に削減の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。