Metaは来年、パラメータ数がLlama 2の数倍となるGPT-4レベルの大型モデルのオープンソース版をリリースする予定で、商用でも無料で利用できる。

海外メディア「Wall Street Journal」によると、Metaは新しい大規模言語モデルの開発を強化しており、その機能はGPT-4に完全に準拠し、来年リリースされる予定だという。

このニュースでは、Meta の新しい大規模言語モデルが Llama 2 の数倍大きくなり、その可能性が高いことも特に強調されました。オープンソースかつ無料、商用であること。

Meta が今年の初めに LlaMA を「誤って」漏洩して以来、7 月の Llama 2 のオープンソース リリースに至るまで、Meta はこの AI の波の中で独自の立場を徐々に見つけてきました— AI オープンソース コミュニティの旗。

#担当者は常に入れ替わっており、モデルの機能には欠陥があります。問題を解決するにはオープンソース ソフトウェアに頼るしかありません

今年の初め、OpenAI で GPT-4 でテクノロジー業界に爆発的な影響を与えた後、Google と Microsoft も独自の AI 製品を発売しました。

5月、米国の規制当局は、当時AI業界に関連すると考えられていた大手企業のCEOらを招待し、AI技術の開発について話し合う円卓会議を開催した。

OpenAI、Google、Microsoft、さらにはスタートアップの Anthropic も参加するよう招待されましたが、Meta は参加しませんでした。当時、Metaの欠席理由に対する公式の回答は「AI業界のトップ企業のみを招待した」だった。 #メタには良いことは起こらなかったが、トラブルは続いた。

Xiao Zha氏は6月初旬に議会から調査書を受け取り、3月のLlaMA漏洩の原因と影響について詳しく説明するよう求めた。手紙は厳しい言葉で、要件は非常に明確でした

#. Llama 2 のリリース後も、その後数か月間、Meta は AI に費やしました。多額の資金を投じて築き上げたチームは今も徐々に崩壊しつつある。

ラマ 2 の謝辞では、この研究を最初に開始した 4 人のチームメンバーについて言及されていますが、そのうち 3 人は退職しており、現在メタ カンパニーで働いているのはエドゥアール グレイブだけです

業界のビッグブル

He Kaimingもメタを離れ、学術界に戻る予定です。

#The Information による最近の速報記事によると、Meta の AI チームは、内部のコンピューティング能力と人員をめぐる競争により、絶えず摩擦を経験しているとのことです。次々と去っていった。

これに関連して、Xiao Zha 自身も、Meta 独自の大規模言語モデルが実際には業界の最先端の GPT-4 と競合できないことをよく知っているはずです。

ベンチマーク テストやユーザーからのフィードバックのあらゆる方向から見ても、Llama 2 と GPT-4 の間のギャップは依然として大きいです

##さまざまなベンチマーク テストでは、オープンソースの Llama 2 と GPT-4 の間にはかなりのギャップがあります

GPTネチズンの実際の体験では、-4 は依然として Llama 2 に対して明確なリードを示しています

したがって、Xiao Zha は、Meta がモデルのオープンソースの道を野蛮に走り続けられるようにすることにしました

おそらく、Xiao Zha のその背後にある考えは次のとおりです: メタ モデルには平均値があるクローズドソースの大手企業との競争で秘密を守り続けることに意味はありません。したがって、単純にオープンソースにして、AI コミュニティが独自のモデルに基づいて反復を続けて、業界における製品の影響力を拡大しましょう

Xiao Zha は何度も公に述べていますオープンソース コミュニティは彼らにとって非常に重要であると考えています。モデルの反復は刺激的な役割を果たし、技術チームが将来的により競争力のある製品を開発できるようになりました。

Xiao Zha in Fridman's ポッドキャストでは、オープンソースによって Meta がコミュニティからインスピレーションを得ることができること、そして Meta が将来的にクローズド ソース モデルを立ち上げる可能性があることが強調されました。

参照: https://lexfridman.com/mark-zuckerberg-2/

そして事実は、メタの選択が実際に次のとおりであることを証明しています。正しい。

コンピューティング リソースや技術力の点では Google や OpenAI には及ばないものの、Meta の Llama 2 などのオープンソース モデルは、オープンへの魅力という点では依然として誰にも負けません。ソースコミュニティ。 Llama 2 が徐々に AI オープンソース コミュニティの「技術基盤」になるにつれて、Meta も業界内で独自の生態学的ニッチを見つけました。

最も明白な兆候は、9月に開催されるAIに関する議会の非公開会議で、Xiao Zhaがついに規制当局のゲストとなり、Google、OpenAIと協力したことだ。およびその他の業界の最先端企業の CEO が代表として AI 業界の規制について意見を表明します。

Meta が来年発売する新しいモデルが進歩を続け、GPT-4 と同じ機能を獲得できれば、一方では、クローズドソースの巨人との差を縮め続けることで、「オープンソース コミュニティと業界の最先端レベルとの間のギャップは約 1 年である」という声明が確認されました。

一方、Xiao Zha氏はインタビューの中で、将来的に大規模モデルの機能がさらに向上すれば、Metaが独自のクローズドソースモデルを立ち上げる可能性があることも明らかにした。新しいモデルが業界のSOTAにさらに近づくことができれば、Metaが独自のクローズドソースモデルを立ち上げるのもそう遠くないかもしれません。

Meta はこの AI の波で一時的に遅れを取っているように見えますが、Xiao Zha は単なる追随者であることに満足していません

Yann Under Lecun の導きにより、Meta は業界全体を転覆する準備も整えています。

Meta の未来

それでは、GPT に匹敵すると伝説的に伝えられているこの謎の大型モデルの後、 4、メタ AIの未来はどうなるのか？

まだ具体的な情報がないため、メタ AI のチーフサイエンティスト LeCun 氏の態度から始めるなど、いくつかの推測をすることしかできません。

人気のある GPT は、常に LeCun が批判し、軽蔑していた人工知能開発ルートでした。

今年の 2 月 4 日、LeCun は、人間レベルの AI への道において大規模な言語モデルは間違った道であるという意見を率直に表明しました

彼は、確率に基づいて自己回帰を生成するこの大規模なモデルは長くても 5 年しか存続しないと考えています。なぜなら、これらの人工知能は大量のテキストでのみトレーニングされており、理解できないからです。現実世界。

これらのモデルは計画も推論もできません。能力があるのはコンテキストを学習することだけです。

真面目に言うと、これらのモデルは人工知能です。 LLM で訓練された人には「知性」がほとんどありません。

LeCun が期待しているのは、AGI につながる「世界モデル」です。

#世界モデルは、世界がどのように機能するかを学習し、より迅速に学習し、複雑なタスクを完了するための計画を立て、不慣れな新しい状況にいつでも対応できます。 。

これは、多くの事前トレーニングを必要とする LLM とは異なり、ワールド モデルは観察からパターンを見つけ、新しい環境に適応し、人間と同じように新しいスキルを習得することができます。

LLM 分野での継続的な改善と深化という OpenAI の戦略と比較して、Meta は多様なモデル開発に努めています

今年 6 月 14 日、 Meta は、「人間に似た」人工知能モデルである I-JEPA をリリースしました。これは、LeCun の世界モデル ビジョンの主要な部分に基づいた史上初の AI モデルでもあります。

# 論文を表示するには、次のリンクをクリックしてください: https://arxiv.org/abs/2301.08243

I-JEPA は画像内の抽象表現を理解し、自己教師あり学習を通じて常識を習得することができます

I-JEPA は補助として追加の人工知識を必要としません

#その後、Meta は、Meta AI によって提案された新しい方法であるフロー マッチングに基づいた、新しく革新的な音声生成システムである Voicebox を発売しました。

6 つの言語で音声を合成し、ノイズ除去、コンテンツの編集、オーディオ スタイルの変換などの操作を実行できます。

Meta は、ユニバーサルな組み込み型 AI エージェントもリリースしました。

Language Guided Skills Coordination (LSC) を使用すると、ロボットは事前にマッピングされた無料の AI エージェントで動作できます。特定の環境でのアイテムの移動とピックアップ

マルチモーダル モデルの開発において、メタはユニークです

ImageBind、まず人工6 つの異なるモダリティからの情報をバインドできるインテリジェンス モデル。

包括的な機械理解機能を備えており、写真内の物体を音、三次元形状、温度、動きのパターンと結び付けることができます

Meta AI と CMU_Robotics が共同開発した RoboAgent を使用すると、ロボットがさまざまな重要なスキルを習得し、数百の生活シナリオにそれを促進できるようになります。

これらすべてのシナリオのデータは、この分野での以前の研究よりも桁違いに小さいです

## ＃今回公開されたモデルに関して、一部のネチズンはソースコードのオープン化を継続してほしいとの期待を表明した。

#しかし、一部のネチズンは、メタは 2024 年の初めまでトレーニングを開始しないだろうと述べています。

##しかし、喜ばしいことは、メタが依然として当初の戦略を堅持し続けるというシグナルを発したことです。

以上がMetaは来年、パラメータ数がLlama 2の数倍となるGPT-4レベルの大型モデルのオープンソース版をリリースする予定で、商用でも無料で利用できる。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。