ゲイリー・マーカスはヒントンとマスクに公の場で叫んだ：ディープラーニングは壁にぶつかっている、私は10万ドルを賭ける

「誰かが（ディープラーニングが）壁にぶつかったと言ったら、その人がしなければならないのは、ディープラーニングでできないことのリストを作ることだけです。5年以内に、私たちはディープラーニングがそれを証明できるでしょう。」

6 月 1 日、隠遁生活を送るジェフリー ヒントンが、カリフォルニア大学バークレー校のピーター アッベール教授のポッドキャストにゲストとして出演しました。二人は、マスクされた自動エンコーダ、AlexNet からスパイキング ニューラル ネットワークに至るまで、90 分間会話を交わしました。 、など待ってください。

番組の中で、ヒントン氏は「ディープラーニングは壁にぶつかっている」という見方に明確に疑問を呈しました。

「ディープラーニングは壁に突き当たっている」という発言は、著名な AI 学者ゲイリー・マーカス氏による 3 月の記事から来ています。正確に言うと、「純粋なエンドツーエンドの深層学習」はほぼ終わりを迎えており、AI 分野全体が新しい活路を見つけなければならないと彼は考えています。

出口はどこですか? Gary Marcus 氏によると、シンボル処理には大きな将来性があります。しかし、この見解はコミュニティによって真剣に受け止められたことはなく、ヒントン氏は以前、「シンボル処理手法へのいかなる投資も大きな間違いである。」とさえ述べていました。ゲイリー・マーカス。

つい十数時間前、ゲイリー・マーカスはTwitterでジェフリー・ヒントンに公開書簡を送りました:

その書簡にはこう書かれていました:「ジェフリー・ヒントンがこうしていることに気づきました」 「私はいくつかの挑戦的なターゲットを探していました。私は実際にアーニー・デイビスの助けを借りてそのようなリストを書き、先週マスクに10万ドルの賭けをしました。」

ここでマスクに何が起こっているのでしょうか？きっかけは5月末のツイートから始まる。

マスク氏との10万ドルの賭け

長い間、人々はAGIとは宇宙の旅(HAL)やアイアンマン(JARVIS)などの映画で描かれている種類のAIであると理解していました。 ）。特定のタスクのために訓練される現在の AI とは異なり、AGI は人間の脳に近く、タスクを完了する方法を学習できます。

ほとんどの専門家は、AGI の実現には数十年かかると信じていますが、中には目標が決して達成されないと信じている人もいます。この分野の専門家を対象とした調査では、2099 年までに AGI を達成できる可能性は 50% であると推定されています。

対照的に、マスク氏はより楽観的であるように見え、ツイッターで公の場で次のように表現したことさえあった。「2029年は重要な年だ。それまでにAGIを達成できなかったら驚くだろう。火星に願いを。同じことが地球上の人々にも当てはまるだろう」

ゲイリー・マーカスは反対の意を表明したが、すぐにこう尋ねた。「いくら賭けてもいいですか?」

マスク氏はこの質問には答えなかったが、ゲイリー・マーカス氏は、10万ドルの金額でロングベットでゲームをセットアップできると言い続けた。

ゲイリー・マーカス氏の見解では、マスク氏の関連する見解は信頼できるものではありません:「たとえば、あなたは2015年に完全自動運転車を実現するには2年かかると言いました。それ以来、あなたはほぼ毎年言ってきました。それらはすべて自動運転車です」同じことを言っていますが、完全な自動運転はまだ実現していません。」

彼はまた、賭けとして、AGI が実現できるかどうかをテストするための 5 つの基準をブログに書きました:

2029 年には、AI は映画を読んで何が起こっているのか (登場人物が誰であるか、彼らの葛藤や動機が何であるかなど) を正確に伝えることができなくなります;

• 2029 年に、AI は小説を読んで確実に伝えることができる プロット、登場人物、対立、動機などに関する質問に答えることができる;
• 2029 年には、AI はどのキッチンでも有能なシェフとして機能できなくなるでしょう;
• 2029 年には、AI は自然言語仕様を介した通信や、専門家以外のユーザーとの対話によるバグのないコードを 10,000 行以上確実に構築できなくなります (既存のライブラリからコードを結合することはカウントされません)。 ;
• 2029 年、AI は自然言語で書かれた数学文献から始めることはできませんそこから証拠を取得し、記号検証に適した記号形式に変換します。

「あなた (または他の誰か) が 2029 年にそれを達成できた場合の私のアドバイスは、少なくとも 3 つです」 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃、たとえ勝ったとしても。取引？ 10万ドルはどうですか？」

より多くの人々の追求により、この賭けの金額は500,000ドルに増加しました。しかし、今のところマスク氏は応じていない。

ゲイリー・マーカス: AGI はあなたが思っているほど「近く」ではありません

6 月 6 日、ゲイリー・マーカスは、Scientific American に記事を掲載し、自身の見解を繰り返し述べました。あなた。

一般の人にとって、人工知能の分野では大きな進歩が見られるように見えます。メディアの報道の中では、OpenAI の DALL-E 2 はあらゆるテキストを画像に変換できるようで、GPT-3 は全能であり、5 月にリリースされた DeepMind の Gato システムはあらゆるタスクで良好なパフォーマンスを発揮します…ある DeepMind 上級幹部は、開始したとさえ自慢していました。人間と同じレベルの知能を持つ汎用人工知能 (AGI) の探求...

だまされないでください。機械はいつか人間と同じくらい賢くなるかもしれないし、もしかしたらそれ以上に賢くなるかもしれないが、今日ではそこまでには程遠い。現実世界を真に理解し推論するマシンを作成するには、やるべきことがまだたくさんあります。今私たちが本当に必要としているのは、気取った態度を減らし、基礎研究を増やすことです。

確かに、AI はいくつかの分野で確かに進歩しています。合成画像はますますリアルに見え、音声認識は騒がしい環境でも機能します。しかし、普遍的な人間レベルの AI には程遠いです。まだまだ長い道のりです。たとえば、人工知能は記事やビデオの本当の意味をまだ理解できず、予期せぬ障害や中断に対処することもできません。私たちは依然として、AI を信頼できるものにするという、AI が長年抱えてきた課題に直面しています。

ガトーを例に挙げると、野球を投げる投手の画像にタイトルを追加するというタスクが与えられると、システムは 3 つの異なる答えを返します。「野球選手が野球場で投げる」、「男性が投げる」 「ピッチャーが野球場で野球を投げる」および「野球の試合で野球選手が打者とキャッチャーに野球を投げる」。最初の答えは正しいですが、他の 2 つは画像に表示されていない追加のプレーヤーが含まれているようです。これは、Gato システムが画像に実際に何が含まれているかを認識しているのではなく、ほぼ類似した画像の典型的なものを認識していることを示唆しています。野球ファンなら誰でも、これがボールを投げたばかりの投手であることがわかります。近くに捕手と打者がいると予想されますが、画像には明らかに彼らがいません。

DALL-E 2 も同様に、「青い立方体の上にある赤い立方体」と「赤い立方体」という 2 つの位置関係を混同します。赤いキューブの上に「ブルーキューブ」。同様に、Googleが5月にリリースしたImagenモデルでは、「馬に乗った宇宙飛行士」と「馬に乗った宇宙飛行士」を区別できなかった。

DALL-E のようなシステムが故障すると、まだ少し面白いと思うかもしれませんが、一部の AI システムは、故障すると非常に深刻な問題を引き起こす可能性があります。たとえば、自動運転のテスラは最近、道路の真ん中で一時停止の標識を持っている作業員に向かって直接走行し、速度を落とす前に人間のドライバーが介入する必要がありました。自動運転システムは人間を認識し、一時停止の標識を自動的に認識することはできましたが、この 2 つの異常な組み合わせに遭遇した場合には速度を落とすことができませんでした。

したがって、残念なことに、AI システムは依然として信頼性が低く、新しい環境にすぐに適応することが困難です。

Gato は、DeepMind によって報告されたすべてのタスクで良好なパフォーマンスを発揮しましたが、他の現代システムほど優れたパフォーマンスを発揮することはほとんどありませんでした。 GPT-3 は流暢な散文を書くことがよくありますが、基本的な算術を習得するのがまだ難しく、現実の理解があまりにも浅いため、「一部の専門家は、靴下を食べると脳の状態を変えるのに役立つと信じています。 「。」

この背後にある問題は、人工知能分野の最大の研究チームがもはや学術機関ではなく、大手テクノロジー企業であることです。大学とは異なり、企業には公正に競争するインセンティブがありません。彼らの新しい論文は学術的審査なしに報道機関を通じて発表されたため、メディア報道や査読の回避につながりました。私たちが得る情報は、企業自体が私たちに知ってもらいたいものだけです。

ソフトウェア業界には、このビジネス戦略を表す「デモウェア」という特別な言葉があります。これは、ソフトウェアの設計が展示用には適しているが、必ずしも現実世界には適していないことを意味します。

そして、このようにして販売される AI 製品は、スムーズにリリースできないか、実際にはめちゃくちゃです。

ディープ ラーニングは、機械がデータ パターンを識別する能力を向上させますが、それには 3 つの大きな欠陥があります: 学習されたパターンは概念的なものではなく表面的なものであること、生成された結果の解釈が難しいこと、そして一般化することが難しいことです。ハーバード大学のコンピュータ科学者レ ヴァリアン氏が指摘したように、「将来の中心的な課題は、AI の学習と推論の形式を統一することです。」

現在、企業は新しいアイデアを生み出すことよりも、ベンチマークを超えることを追求しています。より根本的な問題について立ち止まって考えるのではなく、小さな改善を目指します。

華やかな商品陳列を追求するのではなく、「学習と推論を同時に行えるシステムを構築するにはどうすればよいか」といった基本的な質問をする人がもっと必要です。

AGI に関する議論は終わりには程遠く、他の研究者も参加しています。研究者のスコット・アレクサンダーは、ゲイリー・マーカスは伝説であり、彼が過去数年間に書いたことは多かれ少なかれ完全に正確であるが、それでも価値があるとブログで指摘した。

たとえば、Gary Marcus は以前 GPT-2 のいくつかの問題を批判していましたが、8 か月後に GPT-3 が誕生したときに、これらの問題は解決されました。しかし、Gary Marcus は GPT-3 に容赦はせず、「OpenAI の言語ジェネレーターは、何について話しているのかわからない。」という記事まで書きました。

本質的に言えば、1 つの観点が現時点では正しいです。 「ゲイリー・マーカスは大規模な言語モデルをからかいましたが、これらのモデルはますます良くなり、この傾向が続けば、AGI はすぐに実現されるでしょう。」

以上がゲイリー・マーカスはヒントンとマスクに公の場で叫んだ：ディープラーニングは壁にぶつかっている、私は10万ドルを賭けるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。