オープンソースの大規模モデルはクローズドソースを超えなければならない - LeCun が 2024 年の AI トレンド チャートを明らかに

#2023 年も終わりに近づいています。この1年で様々な大型モデルがリリースされました。 OpenAI や Google などのテクノロジー大手が競争する一方で、オープンソースという別の「力」が静かに台頭しています。

オープンソース モデルには常に多くの疑問が投げかけられてきました。独自のモデルと同じくらい優れていますか?独自モデルの性能に匹敵するでしょうか?これまでのところ、ある程度近づいていると言えます。それでも、オープンソースモデルは常に経験的なパフォーマンスをもたらしてくれるので、私たちは感心してしまいます。

オープンソース モデルの台頭により、ゲームのルールが変わりつつあります。たとえば、Meta の LLaMA シリーズは、その迅速な反復、カスタマイズ可能性、およびプライバシーで人気を集めています。これらのモデルはコミュニティによって急速に開発されており、独自のモデルに対する強力な挑戦を生み出し、大手テクノロジー企業の競争環境を変える可能性があります。

しかし、以前は、人々のアイデアのほとんどは単に「感情」から来ていました。今朝、Meta のチーフ AI サイエンティストでチューリング賞受賞者のヤン・ルカン氏は突然、「オープンソースの人工知能モデルはプロプライエタリなモデルを超えようとしている」と突然嘆きました。 ARK Invest チームが作成したこのトレンド チャートは、2024 年の人工知能の発展を予測する可能性があると考えられています。これは、生成人工知能におけるオープンソース コミュニティの成長と独自モデルの成長を示しています。

OpenAI や Google のような企業がより閉鎖的になるにつれて、最新モデルに関する情報は公開される頻度がどんどん減っていきます。その結果、オープンソース コミュニティとその支援企業である Meta が生成 AI の民主化に取り組み始めており、これは独自モデルのビジネス モデルに課題をもたらす可能性があります。

この散布図では、さまざまな AI モデルのパフォーマンスの割合を に示します。独自モデルは青、オープンソース モデルは黒で表示されます。 GPT-3、Chinchilla 70B (Google)、PaLM (Google)、GPT-4 (OpenAI)、Llama65B (Meta) などのさまざまな AI モデルのパフォーマンスをさまざまな時点で確認できます。

Meta が最初に LLaMA をリリースしたとき、パラメータの数は 70 億から 650 億の範囲でした。これらのモデルのパフォーマンスは優れています。130 億のパラメータを持つ Llama モデルは、「ほとんどのベンチマークで」GPT-3 (1,750 億のパラメータ) を上回り、単一の V100 GPU で実行できますが、最大の 650 億の Llama モデルのパラメータは、 Google の Chinchilla-70B および PaLM-540B に匹敵します。

Falcon-40B は、リリースされるやいなや、Huggingface の OpenLLM ランキングのトップに躍り出て、ラマが目立つシーンを変えました。

Llama 2 はオープンソースであり、大規模モデルの状況に再び大きな変化をもたらします。 Llama 1 と比較して、Llama 2 にはトレーニング データが 40% 増加し、コンテキストの長さが 2 倍になり、グループ化されたクエリ アテンション メカニズムが採用されています。

最近、オープンソースの大規模モデルの世界に、Yi モデルという新しい有力メンバーが加わりました。一度に 400,000 個の漢字を処理でき、中国語と英語の両方がリストの大半を占めています。 Yi-34B は、これまでのところ Hugging Face オープンソース モデル ランキングでトップに輝いた唯一の国産モデルでもあります。

散布図によると、オープンソース モデルのパフォーマンスは独自モデルに追いつき続けています。これは、近い将来、オープンソースモデルがプロプライエタリモデルと同等、あるいはそれを上回る性能になることが期待されることを意味しており、「クローズドソースの大規模モデルはここまで来ている」と研究者らから高い評価を得ている。

一部のネチズンはすでに「2024 年がオープンソース人工知能の年になること」を願い始めており、彼は「我々は、は転換点に近づいています。オープンソース コミュニティ プロジェクトの現在の開発速度を考慮すると、今後 12 か月以内に GPT-4 のレベルに到達すると予想されます。」

## 次に、オープンソースモデルの将来が順風満帆かどうか、そしてどのようなパフォーマンスを示すかを見守りたいと思います。

以上がオープンソースの大規模モデルはクローズドソースを超えなければならない - LeCun が 2024 年の AI トレンド チャートを明らかにの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。