Microsoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係

AI 大型モデルは 2023 年のキーワードとなり、大手テクノロジー企業間の競争が激化する分野でもあります。しかし、未来を象徴するこの大規模な AI モデルのコストは高すぎるため、マイクロソフトのような裕福な企業でさえ代替案の検討を始めています。最近の暴露によると、Peter Lee 率いる Microsoft 内の 1,500 人規模の研究チームの一部が、より小型で運用コストが低い新しい LLM の開発に着手したことがわかりました。

Microsoft の小型 AI モデルに関しては、3 か月前から手がかりが出始めました。今年 6 月、マイクロソフトは「必要なのは教科書だけ」というタイトルの論文を発表しました。この論文では、わずか 70 億トークンの「教科書レベル」のデータを使用して 13 億のパラメーター モデル phi-1 をトレーニングし、小規模であっても高いパフォーマンスが得られることを証明しました。質の高いデータにより、モデルのパフォーマンスも向上します。さらに、Microsoft Research は、phi-1 をベースにした新しい事前トレーニング済み言語モデル phi-1.5 もリリースしました。これは、QA Q&A、チャット形式、コードなどのシナリオに適しています

Microsoft によると、常識、言語理解、論理的推論をテストするベンチマークでは、phi-1.5 はかなりの数の大規模モデルよりも優れたパフォーマンスを発揮します。 LM-Eval Harness を使用した GPT4AL ランニング スコア スイートでは、phi-1.5 は 70 億のパラメーターを備えた Meta のオープンソース大規模モデル llama-2 に匹敵し、AGIEval スコアでは llama-2 を上回っています。

なぜマイクロソフトは突然小型 AI モデルを開発するようになったのでしょうか?一般に、これは OpenAI 間の問題に関連している可能性があると考えられています。 Microsoft は OpenAI への主要な投資家であるため、OpenAI の既存の知的財産を永久に使用することができますが、OpenAI の意思決定を制御することはできません。したがって、Microsoft のような巨大企業にとって、自社の戦略的なセキュリティを考慮するためでも、OpenAI

と協力して有利な立場を維持するためにも、高品質で小規模な AI モデルを開発することが不可欠です。

もちろん、大規模な AI モデルの現在のエネルギー消費量は重要な要素です。今年初めのデザインオートメーションカンファレンスで、AMD最高技術責任者のマーク・ペーパーマスター氏は、機械学習システムのエネルギー消費と世界の発電量を比較したスライドを披露した。国際エネルギー機関の推計によると、大規模モデルをトレーニングするデータセンターのエネルギー消費量はますます増加しており、世界の電力消費量の 1.5% ～ 2% を占めており、これは英国全体の電力消費量に相当します。 2030 年までにこの割合は 4% に上昇すると予想されています

Digital Information World が発表した関連レポートによると、AI モデルのトレーニングのためにデータセンターで生成されるエネルギー消費量は、従来のクラウド サービスの 3 倍となり、2028 年までにデータセンターの電力消費量は 4,250 メガワット近くになると予想されています。 2023. 倍から 212% 増加。 OpenAI トレーニング GPT-3 の消費電力は 1.287 ギガワット時で、これはアメリカの一般家庭 120 世帯の 1 年間の電力消費量にほぼ相当します。ただし、これは AI モデルをトレーニングする際の初期消費電力にすぎず、モデルが実際に使用されるときに消費される電力の 40% にすぎません。

Google が発表した 2023 年の環境報告書によると、大規模な AI モデルのトレーニングは大量のエネルギーを消費するだけでなく、大量の水資源も消費します。報告書によると、グーグルは2022年に56億ガロン（約212億リットル）の水を消費したが、これはゴルフコース37ヶ所の水消費量に相当する。このうち 52 億ガロンが Google のデータセンターで使用されており、2021 年から 20% 増加です

大規模な AI モデルのエネルギー消費が高いのは正常です。 ARM シニア テクニカル ディレクターのイアン ブラット氏の言葉を借りると、「AI コンピューティングのニーズには応えられません。ネットワーク規模が大きければ大きいほど、より良い結果が得られ、解決できる問題も多くなります。電力使用量はネットワーク規模に比例します。」となります。

一部の人工知能専門家は、流行前には、Transformer モデルのトレーニングに必要なエネルギー消費量は 27 キロワット時の範囲だったと述べています。しかし現在、Transformer モデルのパラメータ数は 5,000 万から 2 億に増加し、エネルギー消費量は 500,000 キロワット時を超えています。つまり、パラメータの数は 4 倍に増加しましたが、エネルギー消費量は 18,000 倍以上増加しました。大規模な人工知能モデルがもたらすさまざまな革新的な機能は、ある意味、実は高い処理性能とエネルギー消費を犠牲にしています。

電力が増えると、AI トレーニング用にさらに多くの GPU が駆動され、GPU を冷却するために大量の水が消費されます。これが問題です。マイクロソフトが小型原子炉で生成された電力を利用してデータセンターを運営するためのロードマップを開発していることが明らかになったほどだ。さらに、ESG (「環境、社会、ガバナンス」) について言及されていなくても、純粋にコストの観点から小型モデルを研究することは価値があります。

ご存知のとおり、CUDA エコシステムを構築した NVIDIA は、今回の AI ブームの最大の受益者であり、すでに AI チップ市場の 70% を占めています。 A100は見つけるのが難しいです。しかし現状では、NVIDIA からコンピューティング能力を購入することが、AI メーカーのコストを押し上げる重要な要因となっています。したがって、サイズが小さいモデルは、必要なコンピューティング リソースが少なくて済み、問題を解決するために購入する GPU の数が少なくて済むことを意味します。

より強力な大規模モデルは確かに優れていますが、大規模モデルの商用化はまだ初期段階にあり、大儲けしているのはNVIDIAの「スコップを売る」役割だけです。したがって、この場合、Microsoft は当然のことながら現状を変更するつもりです。

以上がMicrosoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。