3.6兆のトークンと3,400億のパラメータを備えたGoogleの大規模モデルPaLM 2の詳細が明らかになった

先週の木曜日、2023 Google I/O カンファレンスで、Google CEO のピチャイは、GPT-4 のベンチマークとなる大規模モデルである PaLM 2 の立ち上げを発表し、数学、コード、機能を改善したプレビュー バージョンを正式にリリースしました。 、多言語翻訳および自然言語生成機能。

PaLM 2 モデルは、小型から大型まで、異なるサイズの 4 つのバージョンを提供します。Gecko の場合、 Otter、Bison、Unicorn は、さまざまなユースケースに簡単に導入できます。その中でも、軽量の Gecko モデルはモバイル デバイス上で非常に高速に実行でき、優れたインタラクティブ アプリケーションをインターネットに接続せずにデバイス上で実行できます。

ただし、会議では Google は PaLM 2 に関する具体的な技術的な詳細については明らかにせず、PaLM 2 は Google の最新の JAX および TPU v4 に基づいて構築されているとだけ述べました。

昨日、海外メディア CNBC が確認した内部文書によると、PaLM 2 はトレーニングでした 3.6 兆トークン。比較のために、前世代のPaLMは7,800億トークンでトレーニングされました。

さらに、Google は以前、PaLM 2 は以前の LLM よりも小さいと述べました。つまり、より複雑なタスクを実行しながら効率を高めることができるということです。これは内部文書でも検証されており、PaLM 2 の学習パラメータ数は 3,400 億 であり、PaLM の 5,400 億よりもはるかに少ないです。

PaLM 2 のトレーニング トークンとパラメーターは他の LLM とどのように比較されますか?比較のために、Meta が 2 月にリリースした LLaMA は、1 兆 4,000 億のトークンでトレーニングされました。 OpenAI の 1,750 億パラメータ GPT-3 は、3,000 億トークンでトレーニングされました。

Google は、自社の AI テクノロジーの威力と、AI テクノロジーを検索、電子メール、文書処理、スプレッドシートにどのように組み込むことができるかを熱心に実証してきましたが、規模の開示にも消極的でした。トレーニング データのサイズまたはトレーニング データのサイズ、その他の詳細。実際、これを行っているのは Google だけではなく、OpenAI も最新のマルチモーダル大型モデル GPT-4 の詳細については沈黙しています。詳細非開示は事業の競争上の性質に起因すると全員が述べた。

しかし、AI 軍拡競争が激化するにつれ、研究コミュニティは透明性の向上をますます求めています。そして、少し前に漏洩した Google の内部文書の中で、Google の内部研究者は次のような見解を表明しました: 表面的には、OpenAI と Google は大規模な AI モデルでお互いを追いかけているように見えますが、本当の勝者は必ずしもこの 2 つから生まれるわけではないかもしれません。なぜなら、サードパーティの力である「オープンソース」が静かに台頭しているからです。

現時点では、この内部文書の信頼性は検証されておらず、Google は関連する内容についてコメントしていません。

ネチズンのコメント

PaLM 2 の公式発表の初めに、一部のネチズンはチンチラの法則に基づいてパラメータの数を予測しました。 PaLM 2 モデル ファミリは 80B. / 90B / 100B になりますが、これは今回報告された 340B とは依然として大きく異なります。

PaLM 2 のトレーニング コストについて、多くの人々が予測を立てています。大規模モデルの開発によると、過去に、このネットユーザーは、PaLM 2 の構築には 1 億米ドルかかると述べました。

#PaLM 2 パラメータが漏洩しました。Bard を推測してみてください、このネチズンはこう言いました:

PaLM 2 トークンの数が漏洩したことで、ネチズンは、AGI の登場前の大きな転換点に至るまでにどれくらいのトークンが必要になるのか疑問に思わずにはいられません。

以上が3.6兆のトークンと3,400億のパラメータを備えたGoogleの大規模モデルPaLM 2の詳細が明らかになったの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。