ChatGPT が急速に広まり、LeCun の精神は崩壊しました。大規模な言語モデルを悪の道と呼び、メタモデルは 3 日でオフラインになった

過去 2 日間、チューリング賞受賞者のヤン・ルカンは少し精神的に衰弱していました。

ChatGPT の火災以来、Microsoft は OpenAI に非常に率直に戻ってきました。

顔を平手打ちされたGoogleは、「風評リスク」については何も語らなかった。

LaMDA であろうと、DeepMind's Sparrow や Apprentice Bard であろうと、その言語モデルはすべて高速化できます。その後、彼は自身の OpenAI をすぐにサポートしたいと考え、Anthropic に 4 億米ドル近くを投資しました。 (Microsoft のものも欲しい)

#しかし、Microsoft と Google が主導権を握るのを眺めながらも、不安げに飛び回るしかできない人が 1 人います。

この人物は、Meta のチーフ AI サイエンティスト、Yann LeCun です。

彼は Twitter で非常に腹を立てていました: "ChatGPT はナンセンスでいっぱいですが、あなたはそれに対してとても寛容ですが、私のギャラクティカはまだ 3 日しか出ていないのに、あなたはそれを叱責しています一番下へ オンラインです。「

誰がそんなに動揺しているか、私は言いません

ディープラーニングの三大巨人 1. チューリング賞受賞者である LeCun 氏の一挙一動は非常に目を引きます。

1 月 27 日、Zoom でのメディアと幹部の小規模な集まりで、LeCun 氏は ChatGPT について驚くべきコメントをしました。非常に素晴らしいイノベーションです。世間の注目を集めると革新的ですが、私たちはそれがよくまとめられた製品であり、それ以上のものではないことを知っています。」

「Google と Meta に加えて、スタートアップが 6 社ありますが、基本的にはすべて非常に似た技術を持っています。」

# #さらに、彼は次のようにも述べました。 ChatGPTで使われているTransformerアーキテクチャはGoogleが提案したもので、その自己監視方式はまさに彼が提唱したものであり、当時はまだOpenAIは誕生していませんでした。

この発言が出た瞬間、世間は大騒ぎになりました。 Open AIのCEOであるSam Altman氏は、この発言を理由にLeCun氏を直接解雇したようだ。

その後もルカンはファンと舌戦を続けた。

1 月 28 日、LeCun 氏はツイートしました、「大規模な言語モデルには物理的な直観はなく、テキストに基づいてトレーニングされます。巨大な連想記憶から同様の情報を取得できれば、 「物理的な直感に基づく質問は正解するかもしれません。しかし、その答えは完全に間違っている可能性もあります。」

##2 月 4 日, LeCun氏は再びツイートし、「人間レベルのAIへの道において、大規模な言語モデルは曲がりくねった道である」とより率直に述べた。

彼がこれを言うとすぐに、ネチズンは興奮し、メッセージを残すためにコメントエリアに殺到しました。

LeCun 氏はさらに、「自動回帰と次の単語の応答予測に依存する LLM は、計画も推論もできないため、間違ったやり方です。」

「しかし、SSL で事前トレーニングされた Transformer は、実際のシステムに推論、計画、学習する能力があるため、ソリューションになります。」

##LeCun は興味深い例を挙げました: 彼がポッドキャストに参加していたとき、彼は ChatGPT の答えを見せました。しかし、モデレータは ChatGPT の回答を読んだ後、それが間違っていることにすぐには気づきませんでした。

LeCun 氏は次のように説明しました。「私たちの考え方や世界の認識の仕方によって、これから何が起こるかを予測することができます。これが私たちの常識の基礎ですが、LLM にはこの能力がありません」

彼は再びツイートした:「人間レベルの AI を作る前に、猫や犬レベルの AI を作る必要があります。そして今ではそれさえもできません。私たちは非常に重要な何かを見逃しています。ご存知のとおり、ペットの猫でさえ、どんな大規模な言語モデルよりも世界に対する常識と理解を持っています。」

# ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃コメントコメントエリアで、一部のネチズンはLeCunを不謹慎に批判しました：「あなたは正しくありません。私が個人的にテストしたところ、ChatGPTのエラー率がほぼ15であるのに対し、Galaxyのエラー率は100％に近いことがわかりました」 %."

ネチズンからの批判に応えて、ルカン氏は再びツイートを発行して態度を表明した。「私は大規模な言語モデルが役に立たないなどとは一度も言っていません。実際、Meta も Galactica モデルを立ち上げましたが、それは ChatGPT ほど成功していません。ChatGPT はナンセンスに満ちていますが、あなたはそれを非常に寛容ですが、私の Glacatica、私はたった 3 日しか外出していないのに、オフラインになるまで叱られ続けました。」

これに対し、一部のネチズンはコメント欄で「あなたは素晴らしい。研究室に戻って、あなたが言ったことを実現したらどうですか」と嘲笑した。 : 「今日は日曜日です。Twitter で大規模な討論が行われています。これが私のお気に入りの週末の娯楽です。」

##私のモデルはわずか 3 年しか生きませんでした。 days

LeCun がとても動揺しているのは当然です。

昨年 11 月中旬、Meta の FAIR 研究室は、論文の生成、百科事典の項目の生成、質問への回答、およびマルチモデルの化学式とタンパク質配列の完成を可能にする Gaoptica モデルを提案しました。ステータスタスクなど

ギャラクティカが生成した論文

LeCun Heさんも「これは学術文献に基づいて訓練されたモデルだ。段落を付ければ完全な構造の論文を生成してくれる」と嬉しそうにツイートして称賛していました。

しかし、ギャラクティカはあまりにも嘘だらけだったので、ネット上に公開されてからわずか 3 日後に荒らしに遭いました。ネチズンによるオフライン。

LeCun は Papers with Code からの通知を転送し、「大きな恨み」のように言いました:「これでもうギャラクティカで楽しくプレイできなくなりました。あなたは幸せですか?」

ギャラクティカのデモはオンラインで数日間しか公開されませんでしたが、当時のユーザーは手ごわい敵に直面しているように感じました。

一部のネチズンは警告しました。学生がこの「論文作成」成果物を何に使用するかを考えてください。

一部のネチズンは、「ギャラクティカのモデルの答えは間違いと偏見に満ちていますが、その論調は非常に自信に満ちています。権威ある。これは恐ろしい。」

マーカスはまた、この種の大規模な言語モデルは学生によって使用される可能性があるとも述べました。先生を騙すのはとても心配です。

このおなじみの公式とおなじみの味は、本当に感動的です。ギャラクティカによって引き起こされたパニックと疑惑は、まさにその後 ChatGPT が経験したものではなかったでしょうか?

歴史が繰り返され、しかしまったく異なる結末を迎えたこの時期を見ると、ルカンが理由もなくこれほど苦い思いをしているとは言えません。

では、なぜ ChatGPT は疑問の声の中でますます人気が高まるのに、Galaxy は惨めに叱られてオフラインにされるだけなのでしょうか?

まず第一に、ギャラクティカは、大企業は OpenAI のような小規模な新興企業よりも多くの「風評リスク」に直面している、と Meta によって提案されました。

さらに、OpenAI の製品ポジショニング戦略は非常に賢明であり、ChatGTP の名前からもわかるように、その主要なコンセプトはチャットです。

知識や論文について雑談することもできますが、「雑談」なので自然に放っておくこともできます。 " もの？

しかし、Goptica は異なります。その公式の定義は、「これは科学研究に使用されるモデルです。」です。人間の科学知識に基づいて訓練された人工知能です。宇宙に関する知識にアクセスし、操作するための新しいインターフェースとして使用できます。」

それを自分自身に与えてください。大きな雷が鳴りました。置いた。

技術的な観点から見ると、ChatGPT には大きな革新性はありませんが、製品運用の観点から見ると、OpenAI は非常に良い仕事をしています。

LLM はなぜナンセンスなことを言っているのでしょうか?

では、なぜ大きな言語モデルはナンセンスなことを言っているのでしょうか?

LeCun が「いいね！」した記事の中で、著者は次のように説明しています。「ChatGPT を使用してブログ投稿を作成しようとしましたが、すべて失敗に終わりました。理由は簡単です。ChatGPT は頻繁に使用されるためです。」多くの誤った「事実」を生み出します。

#自然言語は知識と同等ではありません

それを知っておく必要がありますLLM は、他の人間との会話において人間のように聞こえることを意味しており、この目標をうまく達成しています。しかし実際のところ、自然に聞こえることと情報の正確さを評価することはまったく別のことです。

それでは、この問題をどうやって解決すればよいでしょうか?

たとえば、物理学の理解をエンコードしたマシン (物理エンジン) を使用できます。

• LLM を変更して、LLM 自体を認識できるようにします。物理学に関する質問です
• 質問を物理的なシーンに変換します
• 物理エンジンを使用してシーンをシミュレートします
• シーンの出力を言葉で説明します

「偽紙問題」についても同様の修正が可能です。

つまり、ChatGPT に、科学論文について質問されたこと、または論文について何かを書いていることを認識させ、その前に信頼できるデータベースを参照するように強制します。続けています。

ただし、これを行うと、特定の追加の「思考」を LLM に移植したことになることに注意してください。そして、考慮しなければならない特別な状況がたくさんあります。この時点で、人間のエンジニアは真実がどこから来たのかを知っていましたが、LLM は知りませんでした。

さらに、エンジニアがこれらの修正をどんどん移植するにつれて、LLM が汎用人工知能の一種ではないことがますます明らかになりました。

人間の知性が何であれ、それは単に上手に話す能力以上のものであることはわかっています。

人間の言語のさまざまな用途

なぜ人間は互いに話し合ったり、お互いに何かを書いたりするのでしょうか?

「店内にいる」「電源が入っていない」などの事実情報を直接伝えることも目的の一つですが、これは本質とは程遠いものです。私たちが言語を使用する唯一の理由:

• 説得、要求、命令、指示
• 感情を伝える
• 他人を楽しませるため(小説、ジョークなどを含む) ）、自分自身を楽しませてください
• 不正行為（嘘）
• 人間関係の構築（友達とのつながりを作る、浮気）

……

ご覧のとおり、人間のコミュニケーションの目的は非常に多様です。さらに、通常、コンテンツの目的を文章で示すことはなく、コンテンツの役割について著者と読者で異なる認識を持っています。

ChatGPT が信頼できる事実の普及者になりたいのであれば、訓練された人間の文章のさまざまな目的を区別する方法を学ぶ必要があるかもしれません。

つまり、でたらめを真剣に受け止めないこと、説得とプロパガンダを客観的な分析と区別すること、情報源の信頼性とその人気を独立して判断することなどを学ばなければならない、などということだ。

これは人間でも非常に難しい技です。研究によると、Twitter 上では、誤った情報が正確な情報よりも何倍も早く拡散され、多くの場合、より扇動的で、面白く、あるいは一見斬新なものであることがわかっています。

そこで問題は、なぜ生成型人工知能がコンピューター コード上で非常に優れたパフォーマンスを発揮するのかということです。関数コードの記述の正確さが、事実の伝達の正確さに結びつかないのはなぜですか?

#これに対する考えられる答えは、コンピューター コードは機能するものであり、通信するものではないということです。正しい文法でコードを書くといくつかのタスクが自動的に実行されますが、正しい文法で文を書いても必ずしも何かを達成できるわけではありません。

さらに、コンピュータ コードのトレーニング コーパスを「良い」コード、つまり、意図された目的を完全に実行するコードに制限することは簡単です。対照的に、その目的をうまく果たせるテキスト コーパスを作成することはほぼ不可能です。

したがって、信頼できる事実の発信者となるよう自らを訓練するために、LLLM は、機能するコンピューター コードを思いつくよう自らを訓練するよりもはるかに難しいタスクを完了する必要があります。

エンジニアにとって、事実とナンセンスを区別できる LLM を構築するのがどれほど難しいかはわかりませんが、人間にとってさえ難しい作業です。

マーカス: 世紀の和解

ルカンの一連の発言は誰もが疑問に思った:これはマーカスなら言うことではないだろうか? ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ホット（チー）情熱的（グア）ネチズンは@Marcusを持っており、この問題に対する彼の鋭い反応を楽しみにしています。 コメント。

長年 GPT に苦しんできた Marcus さんは当然大喜びし、すぐに LeCun さんの投稿を転送してコメントしました。 、「100の失神」。

マーカスも自身のブログに投稿し、ルカンとの「愛憎関係」を振り返った。

マーカスは、彼とルカンは長年の旧友であり、二人は互いに惹かれ合うようになったと語った。彼らがギャラクティカについて言ったいくつかの言葉のせいで、敵を作ります。

実際、マーカスとルカンは数年にわたって対立していましたが、それはギャラクティカがオフラインになったことだけが原因ではありません。

チューリング賞を受賞した他の 2 人のベンジオ氏とヒントン氏の比較的知名度の低い人物とは異なり、ルカン氏は近年、ソーシャル メディアで積極的に活動していることで AI 界でも有名です。 Arxiv が失敗するとすぐに、多くの仕事が Twitter で宣伝されました。

同じく知名度の高いマーカス氏は、常にツイッターを自分のホームコートだと考えており、ルカン氏のプロパガンダがマーカス氏の見解と矛盾する場合、どちらの側もそれを押しとどめるつもりはない。

SNS上では、二人は喧嘩すると必ず口論になる状態にまで至っていると言えます。会うと喧嘩を始める。

そして、Liang Ziといえば、2019年にルカンがヒントンとベンジオとともにチューリング賞を受賞した後、当初はマーカスがルカンの隣に立っている集合写真がありましたが、ルカンが共有した後、写真ではマーカスが無慈悲に切り取られていた。

しかし、ChatGPT の誕生によりすべてが変わりました。

ChatGPT は急速に広まり、ギャラクティカは 3 日後に上場廃止となりました。マーカスは、LLM に対する LeCun のクレイジーなパフォーマンスを見て当然満足していました。

ことわざにあるように、敵の敵は友人である LeCun 氏の発言は、自社製品の失敗からの啓発によるものなのか、それとも現状への羨望によるものなのかはわかりません。マーカスは、一流の競合製品を積極的に追加します。

Marcus は、彼と LeCun が単に LLM の宣伝と制限以上の点で同意していると信じています。二人ともシセロはもっと注目されるべきだと考えています。

最終的に、Marcus @ さんはすべてを理解してくれる人を見つけ、「家族に福祉を提供する時期が来た」と言いました。

## LeCun が Twitter 上で始めた叱責合戦は、マーカスの反 GPT 軍勢をさらに強化しただけではないと言えます。強力な将軍を獲得し、二人に握手して和平を結ぶ機会を与えた。

最終的な勝者はマーカスのようです。

以上がChatGPT が急速に広まり、LeCun の精神は崩壊しました。大規模な言語モデルを悪の道と呼び、メタモデルは 3 日でオフラインになったの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。