5,000億個のパラメータが公開されたMicrosoft自社開発の極秘兵器OpenAIに挑戦！ Google DeepMind の元幹部がチームを率いる

OpenAI がなければ、Microsoft も AI のリーダーになる可能性があります。

海外メディア Information は、Microsoft が 5,000 億個のパラメーターを備えた初の大規模モデル MAL-1 を社内で開発しているというニュースを伝えました。

ナデラがチームを率いて自分の力を証明するときが来ました。

Microsoft は、OpenAI に 100 億ドル以上を投資した後、GPT-3.5/GPT-4 の先進モデルを使用する権利を取得しましたが、結局のところ、それは長くは続きませんでした。期限付きの解決策。

Microsoft が OpenAI の IT 部門に縮小されたという噂さえありました。

誰もが知っているように、この 1 年間、Microsoft の LLM に関する研究は主に、Phi-3 のオープンソースなど、小規模な phi の更新に焦点を当ててきました。

Turing シリーズを除く大型モデルの特化に関して、Microsoft は内部ニュースを明らかにしていません。

ちょうど今日、マイクロソフトの最高技術責任者であるケビン スコット氏は、MAI 大型モデルが実際に開発中であることを認めました。

大規模モデルを準備するための Microsoft の秘密の計画は、OpenAI、Google、Anthropic のトップ モデルと競合できる新しい LLM を開発することであることは明らかです。 。

結局のところ、ナデラはかつて「たとえ明日 OpenAI が消えても、それは問題ではないでしょう」と言いました。

「私たちは才能、計算能力、データを持っています。私たちに欠けているものは何もありません。私たちは彼らの下、彼らの上、そして彼らの周りにいます。」

Microsoft の自信そのもののようです。

自社開発の 5,000 億 MAI-1 大型モデル

報道によると、MAI-1 1 大型モデル Google DeepMind の元責任者、ムスタファ・スレイマン氏が監修。

スレイマン氏が Microsoft に入社する前は、AI スタートアップである Inflection AI の創設者兼 CEO であったことは言及する価値があります。

は 2022 年に設立されました。1 年で、彼はチームを率いて大型モデル Inflection (現在バージョン 2.5 に更新) と、1 つ以上の機能を備えた高 EQ AI アシスタント Pi を立ち上げました。毎日100万人のユーザー。

しかし、適切なビジネス モデルが見つからなかったため、スレイマン氏ともう一人の連荘氏、およびほとんどの従業員は 3 月にマイクロソフトに入社しました。

つまり、スレイマンとチームはこの新しいプロジェクト MAI-1 の責任者であり、最先端の大型モデルでより多くの経験をもたらすことになります。これに。

MAI-1 モデルはマイクロソフトが自社開発したものであり、屈折モデルから継承されていないことをまだ言及しなければなりません。

Microsoft 社員 2 名によると、「MAI-1 は、Inflection が以前にリリースしたモデルとは異なります。」ただし、トレーニング プロセスではトレーニング データとテクノロジーが使用される場合があります。

5,000 億のパラメータを備えた MAI-1 のパラメータ規模は、過去に Microsoft によってトレーニングされた小規模のオープン ソース モデルをはるかに超えます。

これは、より多くのコンピューティング能力とデータが必要となり、トレーニングのコストも高くなるということも意味します。

この新しいモデルをトレーニングするために、Microsoft は NVIDIA GPU を搭載した多数のサーバーを確保し、モデルを最適化するためのトレーニング データを編集してきました。

これには、GPT-4 から生成されたテキストと、外部ソース (インターネット公開デ​​ータ) からのさまざまなデータセットが含まれます。

大きなモデルと小さなモデルの両方が必要です

対照的に、GPT-4 には 1.8 兆個のパラメーターがあり、Meta、Mistral の場合に公開されています。 AI 企業が小規模なオープンソース モデルをリリースすると、パラメータは 700 億個になるでしょう。

もちろん、Microsoft は多面的な戦略を採用しています。つまり、大規模なモデルと小規模なモデルが一緒に開発されます。

その中で最も古典的なのは Phi-3 です。これは携帯電話に挿入できる小型モデルで、最小サイズ 3.8B のパフォーマンスでは GPT-3.5 を圧倒します。

Phi-3 mini は、4 ビットに量子化した場合に約 1.8GB のメモリしか消費せず、iPhone14 では 1 秒あたり 12 個のトークンを生成できます。

ネチズンが「AI を低コストでトレーニングしたほうが良いのではないか?」という質問を提起した後、ケビン スコット氏は次のように答えました。

これは、どちらか一方の関係ではありません。多くの AI アプリケーションでは、大規模な最先端モデルと、より小規模でよりターゲットを絞ったモデルを組み合わせて使用​​します。 SLM がデバイスとクラウドの両方で適切に動作することを確認するために、私たちは多くの作業を行ってきました。私たちは SLM のトレーニングで多くの経験を蓄積しており、他の人が研究して使用できるように、この作業の一部をオープンソース化しています。この大小の組み合わせは今後もしばらく続くと思います。

これは、Microsoft が低コストでアプリケーションに統合でき、モバイル デバイス上で実行できる SLM を開発する必要があることを示しています。より大規模で高度な AI モデルを開発することも必要です。

現在、Microsoft は自らを「Copilot company」と呼んでいます。 AI を活用した Copilot チャットボットは、電子メールの作成や文書の迅速な要約などのタスクを完了できます。

そして将来、次のチャンスはどこにあるのでしょうか?

大規模モデルと小規模モデルの両方を考慮することは、革新的なエネルギーに満ちた AI の新たな道を模索する Microsoft の意欲を反映しています。

OpenAI の「IT」になりたくありませんか?

繰り返しになりますが、自社開発の MAI-1 は、Microsoft が OpenAI を放棄することを意味するものではありません。

最高技術責任者の Kevin Scott 氏は今朝の投稿で、Microsoft と OpenAI の 5 年間にわたる強固な「友情」を初めて肯定しました。

当社は、パートナーである OpenAI が最先端の AI モデルをトレーニングできるよう、大規模なスーパーコンピューターを構築してきました。その後、両社はそのモデルを自社の製品やサービスに適用し、より多くの人々に利益をもたらすことになります。

さらに、新世代のスーパーコンピューターはそれぞれ前世代よりも強力になるため、OpenAI によってトレーニングされた最先端のモデルはそれぞれ、前世代よりも高度になります。

私たちはこの道を歩み続けます。OpenAI が業界全体をリードするモデルをトレーニングできるように、より強力なスーパーコンピューターの構築を続けます。私たちの協力はますます大きな影響を与えるでしょう。

少し前に、海外メディアは、MicrosoftとOpenAIがAIスーパーコンピュータ「Stargate」の構築に協力し、最大1,150億米ドルを費やすことを明らかにしました。

スーパーコンピューティングは、早ければ2028年にも開始され、2030年までにさらに拡張されると言われています。

以前も含め、Microsoft のエンジニアは、Microsoft が OpenAI トレーニング GPT-6 用に 100,000 台の H100 を集中的に構築しているというニュースを起業家の Kyle Corbitt に発表しました。

さまざまな兆候は、Microsoft と OpenAI の協力がさらに強化されることを示しています。

さらにスコット氏は、「MicrosoftはOpenAIとの協力に加え、MSRやさまざまな製品チームにAIモデルの開発を長年にわたってさせてきた」とも述べた。

AI モデルは、マイクロソフトのほぼすべての製品、サービス、業務に浸透しています。チームは、モデルを最初からトレーニングするか、既存のモデルを微調整するかにかかわらず、カスタマイズ作業を実行する必要がある場合もあります。

今後も同様の状況がさらに発生するでしょう。

これらのモデルには、Turing、MAI などの名前が付けられているものと、Phi という名前が付けられているものがあります。

私の表現はそれほど劇的ではないかもしれませんが、それが現実です。実際にはすべてがどれほど複雑であるかを考えると、私たちオタクにとって、これは非常に興味深い現実です。

「Turing」モデルの解読

MAI および Phi シリーズ モデルに加えて、コード名「Turing」が Microsoft 内部で開始されました。 2017 年に 1 つの大きなモデルを作成し、それをすべての製品ラインに適用する計画です。

#3 年間の研究開発を経て、2020 年に初めて 170 億パラメータの T-NLG モデルをリリースし、最大規模のモデルを作成しました。パラメータスケールLLMを当時の履歴に記録します。

2021 年、Microsoft は Nvidia と提携して、5,300 億のパラメーターを備えた Megatron-Turing (MT-NLP) をリリースしました。幅広い自然言語のタスクで「比類のない」正確さを実証しました。

同じ年に、視覚言語モデル Turing Bletchley が最初にリリースされました。

昨年 8 月に、マルチモーダル モデルが V3 バージョンに反復され、より優れた画像検索エクスペリエンスを提供するために Bing などの関連製品に統合されました。

さらに、Microsoft は 2021 年と 2022 年に「Turing Universal Language Representation Model」（T-ULRv5 と T-ULRv6 の 2 つのバージョン）もリリースしました。

現在、「チューリング」モデルは Word のスマート クエリ (SmartFind) と Xbox の質問マッチング (Question Matching) で使用されています。

チームが開発した画像超解像度モデル Turing Image Super-Resolution (T-ISR) もあります。これは Bing Maps に適用されており、航空写真の品質を向上させることができます。世界中のユーザー向けの高品質な画像。

現時点では、新しい MAI-1 モデルの具体的な用途はまだ決定されておらず、その性能に依存します。

ところで、MAI-1 の詳細については、5 月 21 日から 23 日まで開催される Microsoft Build Developer Conference で初めて公開される可能性があります。

次のステップは、MAI-1 のリリースを待つことです。

以上が5,000億個のパラメータが公開されたMicrosoft自社開発の極秘兵器OpenAIに挑戦！ Google DeepMind の元幹部がチームを率いるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。