Google PaLM モデルも素人によって覚醒したと宣言されているのでしょうか?業界関係者: 合理性テストは GPT よりわずか 3% 優れている

「汎用人工知能」は、今や 2020 年代の「水から油へ」テクノロジーになりつつあります。ほぼ半月ごとに誰かが、大型モデルのパフォーマンスが人間の本性を目覚めさせたことを発見した/信じていると発表します。そしてAI「生きろ」。最近この種のニュースで最も騒動を起こしているのはGoogleだ。元研究者のBlake Lemoine氏が大規模言語モデルLaMDAは「生きている」と発言したことは広く知られているが、予想通りこの老人は辞任手続きに入った。

実際、ほぼ同時に、「The Atlantic Monthly」に Google の準ソフト記事も掲載され、別の新しい大規模言語モデルである PaLM もまた、 「真の汎用人工知能」（真の汎用人工知能です）。

Atlantic Monthly は、PaLM が AGI になったことを強制的に発表しました。

しかし、この記事を読んだ人はほとんどいなかったため、この記事が引き起こした議論と批判は次のとおりです。ほんの少しだけ。

しかし、世界一流の出版物が書いた世界一流メーカーを讃える原稿は、たとえ誰も読まなくても、古い映画のセリフ「まるで闇夜の蛍のようだ」 、とても明るい、とても傑出した…」 2022年6月19日、『The Atlantic Monthly』は「人工意識は退屈だ」というタイトルの記事を掲載した。

The Atlantic のこの記事のタイトルは、「Google の PaLM AI は意識よりはるかに見知らぬ」という記事のタイトルよりも直接的です)。

内容は予想通りで、Google Brain の PaLM プロジェクト チームのメンバーにインタビューした後の著者の賞賛です。5,400 億のパラメータ、数百の異なるタスクを事前トレーニングなしで完了できます。ジョークを言ったり、文章を要約したりできる。ユーザーがベンガル語で質問を入力すると、PaLM モデルはベンガル語と英語の両方で応答できます。

ユーザーがコードの一部を C 言語から Python に翻訳する必要がある場合、PaLM モデルはそれを迅速に完了することもできます。しかし、この記事は、ソフトな記事に見える自慢のインタビュー原稿から、PaLMモデルが「真の汎用人工知能」であることを発表するというお世辞の草案へと徐々に変化していきました（それは真の汎用人工知能です）。

「PaLM の機能は開発者を怖がらせます。怖がらずにそれを受け入れるには、知的冷静さと距離が必要です。PaLM は合理的です。」は、自社の開発者を驚かせましたが、これには一定の距離と知的さが必要です。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃これはGoogleです大型モデルが強制的に強制的に変更されるのは今月で2回目ですAGIであることが発表されました。この主張の根拠は何ですか?この記事の著者によると、それは、PaLM モデルが「すぐに使える」ため、事前に特別なトレーニングを行わなくても、さまざまなインテリジェントなタスクを独自に解決できるためです。また、PaLM モデルには「思考連鎖プロンプト」機能があり、PaLM モデルの問題解決プロセスを現地語で分解、説明、デモンストレーションした後、PaLM が自ら正解を導き出すことができます。

ジェフ ディーン自身は、PaLM が AGI であるとは一度も言っていません。

ギミックと証拠との間のギャップは非常に大きいです。」パンツを脱いでこれを見てください」という気分：「The Atlantic Monthly」の著者も、情報を確認せずに記事を書くために人々にインタビューする習慣があることが判明しました。 なぜこんなことを言うかというと、ジェフ・ディーン先生がチームを率いてPaLMモデルを立ち上げたときに、「思考連鎖プロンプト」機能を導入したからです。しかしGoogle Brainは、この製品が現実に蘇った「ターミネーター」であるなどと豪語することは決してないだろう。 2021 年 10 月に、ジェフ ディーンは新しい機械学習アーキテクチャであるパスウェイを紹介する記事を個人的に書きました。目的は非常にシンプルで、AI が数万のタスクにまたがり、さまざまな種類のデータを理解し、それを同時に非常に高い効率で達成できるようにすることです。

半年以上経った2022年3月、ジェフ・ディーンはついにPathwaysの論文を発表しました。 論文アドレス: https://arxiv.org/abs/2203.12533 その中には、最も基本的なシステムなど、多くの技術的な詳細が追加されています。建築など

2022 年 4 月、Google が Pathways システムを使用して構築した PaLM 言語モデルがリリースされました。 5,400 億個のパラメーターを備えたこの Transformer 言語モデルは、複数の自然言語処理タスクで SOTA を次々に破っていきました。論文では、強力な Pathways システムの使用に加えて、PaLM のトレーニングには 6144 TPU v4 が使用され、7,800 億トークンの高品質データセットが使用され、その 22% が非英語および多言語コーパスであると紹介されています。

論文アドレス: https://arxiv.org/abs/2204.02311 「自己監修」 「学習」と「思考チェーンプロンプト」は以前の AI 業界ではよく知られた概念であり、PaLM モデルはその概念をさらに実装するだけです。さらに悪いことに、Atlantic Monthly の記事は、「Google の研究者は、なぜ PaLM モデルがこの機能を達成できるのかを知らない」と直接述べています。これは、教師 Jeff Dean が多忙すぎて、何か代わりにできることを探しているためです。

批評家: アトランティック・マンスリーの声明は信頼できない

案の定、米国カリフォルニア州サンタフェ研究所のメンバー、メラニー・ミッチェル教授が自身のソーシャルネットワーキングに投稿した。一連の投稿は、暗黙のうちに、しかししっかりと Atlantic Monthly の記事に疑問を呈していました。

メラニー・ミッチェル氏は次のように述べています。「この記事は非常に興味深いですが、著者は Google 研究者以外の AI 業界の専門家にインタビューしたことがないのではないかと思います。

たとえば、PaLM モデルが「本物の AGI」であると主張するさまざまな証拠があります。私個人には PaLM の使用許可はありませんが、4 月に Google がリリースした論文には小さなサンプル学習しか含まれていませんいくつかのベンチマーク テストに大きな影響を与えるテストですが、PaLM の小規模サンプル学習テストの結果すべてが同様に堅牢であるわけではありません。

そして、その中で、テストで使用されたベンチマークの数難易度を単純化する技術である「ショートカット学習」を使用することについては、論文では言及されていない。「Atlantic Monthly」の記事の文言によれば、PaLMは少なくともさまざまなタスクを高い信頼性、高い汎用性、一般的な精度で完了できるという。

しかし、これに関係なく、この記事も 4 月の Google 論文も、一般知能における PaLM モデルの機能と制限について詳しく説明しておらず、この機能をテストするためのベンチマークについても言及していません。 .

そして、PaLM は合理的です」という主張は特に検証する必要があります。GPT シリーズの同様の主張は、オープン アクセス権のため、さまざまな実験を行った業界関係者によって改ざんされています。

また、Google の 4 月の論文の告白によれば、PaLM の合理的なベンチマーク テストは、PaLM がそのような栄誉を受け取るのと同じレベルで受け入れられるべきです。業界のいくつかの同様の SOTA モデルよりもわずかに優れているだけであり、勝者はそれほど多くありません。最も重要な点は、PaLM の論文は査読されておらず、このモデルは外部の世界へのアクセスをまったく開いていないということです。すべての主張は口だけであり、検証、再現、評価することはできません。」

以上がGoogle PaLM モデルも素人によって覚醒したと宣言されているのでしょうか?業界関係者: 合理性テストは GPT よりわずか 3% 優れているの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。