ホームページ > 記事 > テクノロジー周辺機器 > Microsoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係
AI 大型モデルは 2023 年のキーワードとなり、大手テクノロジー企業間の競争が激化する分野でもあります。しかし、未来を象徴するこの大規模な AI モデルのコストは高すぎるため、マイクロソフトのような裕福な企業でさえ代替案の検討を始めています。最近の暴露によると、Peter Lee 率いる Microsoft 内の 1,500 人規模の研究チームの一部が、より小型で運用コストが低い新しい LLM の開発に着手したことがわかりました。
Microsoft によると、常識、言語理解、論理的推論をテストするベンチマークでは、phi-1.5 はかなりの数の大規模モデルよりも優れたパフォーマンスを発揮します。 LM-Eval Harness を使用した GPT4AL ランニング スコア スイートでは、phi-1.5 は 70 億のパラメーターを備えた Meta のオープンソース大規模モデル llama-2 に匹敵し、AGIEval スコアでは llama-2 を上回っています。
と協力して有利な立場を維持するためにも、高品質で小規模な AI モデルを開発することが不可欠です。
もちろん、大規模な AI モデルの現在のエネルギー消費量は重要な要素です。今年初めのデザインオートメーションカンファレンスで、AMD最高技術責任者のマーク・ペーパーマスター氏は、機械学習システムのエネルギー消費と世界の発電量を比較したスライドを披露した。国際エネルギー機関の推計によると、大規模モデルをトレーニングするデータセンターのエネルギー消費量はますます増加しており、世界の電力消費量の 1.5% ~ 2% を占めており、これは英国全体の電力消費量に相当します。 2030 年までにこの割合は 4% に上昇すると予想されています
Google が発表した 2023 年の環境報告書によると、大規模な AI モデルのトレーニングは大量のエネルギーを消費するだけでなく、大量の水資源も消費します。報告書によると、グーグルは2022年に56億ガロン(約212億リットル)の水を消費したが、これはゴルフコース37ヶ所の水消費量に相当する。このうち 52 億ガロンが Google のデータセンターで使用されており、2021 年から 20% 増加です
大規模な AI モデルのエネルギー消費が高いのは正常です。 ARM シニア テクニカル ディレクターのイアン ブラット氏の言葉を借りると、「AI コンピューティングのニーズには応えられません。ネットワーク規模が大きければ大きいほど、より良い結果が得られ、解決できる問題も多くなります。電力使用量はネットワーク規模に比例します。」となります。
電力が増えると、AI トレーニング用にさらに多くの GPU が駆動され、GPU を冷却するために大量の水が消費されます。これが問題です。マイクロソフトが小型原子炉で生成された電力を利用してデータセンターを運営するためのロードマップを開発していることが明らかになったほどだ。さらに、ESG (「環境、社会、ガバナンス」) について言及されていなくても、純粋にコストの観点から小型モデルを研究することは価値があります。
ご存知のとおり、CUDA エコシステムを構築した NVIDIA は、今回の AI ブームの最大の受益者であり、すでに AI チップ市場の 70% を占めています。 A100は見つけるのが難しいです。しかし現状では、NVIDIA からコンピューティング能力を購入することが、AI メーカーのコストを押し上げる重要な要因となっています。したがって、サイズが小さいモデルは、必要なコンピューティング リソースが少なくて済み、問題を解決するために購入する GPU の数が少なくて済むことを意味します。
より強力な大規模モデルは確かに優れていますが、大規模モデルの商用化はまだ初期段階にあり、大儲けしているのはNVIDIAの「スコップを売る」役割だけです。したがって、この場合、Microsoft は当然のことながら現状を変更するつもりです。
以上がMicrosoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。