マーカスはルカンを批判する記事を投稿しました: 深層学習だけでは人間のような知能を達成することはできません

今年の 3 月、ゲイリー マーカス氏は「ディープラーニングは壁に突き当たった」という考えを提唱し、人工知能の学術界に波紋を巻き起こしました。

#当時、ディープ ラーニングの 3 つの巨人ですら黙ってはいられず、まず、ジェフリー ヒントンがポッドキャストでこの見解に反論しました。

翌年 6 月、Yann LeCun はこれに応じた記事を書き、一時的な困難を壁にぶつかったものとして扱うべきではないと指摘しました。

さて、マーカスは米国の NOEMA 誌に「深層学習だけでは人間のような AI を実現できない」というタイトルの記事を掲載しました。

同様に、ディープラーニングだけでは人間のような知能を達成することはできないという考えを今でも変えていません。

# そして、現在の人工知能研究は主にディープラーニングに焦点を当てており、それを再考する時期に来ていると提案しました。

過去 70 年間、人工知能の分野における最も基本的な議論は、人工知能システムは次のようなものであるべきかどうかです。 「シンボル」に基づいて構築されている 動作の点では、やはり脳のような「ニューラル ネットワーク」システムに基づいている必要があります。

#実際、ここには 3 番目の可能性があります。それは、ニューラル ネットワークの深層学習とシンボリック操作の強力な抽象化機能を組み合わせたハイブリッド モデルです。

NOEMA 誌に掲載された LeCun の最近の記事「AI がインテリジェンスについて語ること」でもこの問題について議論されていますが、Marcus は彼の記事が明らかにしていると指摘しました。しかし、それには明らかな欠陥、つまり論理的矛盾があります。

記事はハイブリッド モデルを拒否することから始まりますが、記事はハイブリッド モデルの存在を認め、今後の可能性のある方法として言及することで終わります。

ニューラル ネットワークと記号操作のハイブリッド モデル

Marcus は、LeCun と Browning の要点は主に「モデルが記号操作を学習した場合」であると指摘しました。 、混ざっていません。」

#しかし、機械学習の問題は開発上の問題 (システムはどのように生成されるのか)

システムが開発された後にどのように動作するかは計算上の問題 (たとえば、1 つのメカニズムを使用するか、2 つのメカニズムを使用するか)、つまり、「シンボルとニューラル ネットワークの両方を利用するシステムはすべてハイブリッド モデルです。 」

おそらく彼らが本当に言いたいのは、人工知能は生まれつきのハイブリッドではなく、学習されたハイブリッドになる可能性が高いということです。しかし、学習のハイブリッドは依然としてハイブリッドです。

#マーカスの視点は次のとおりです。「シンボルの操作自体は生得的なものであるか、生得的な別のものがあり、この種のことが間接的に影響を及ぼしている」象徴的操作の出現。」

#したがって、私たちの研究の焦点は、間接的に記号操作を促進するこの媒体を発見する方法にあるべきです。

つまり、システムが記号的抽象化の学習レベルに到達できる媒体を理解できさえすれば、次のようなものを構築できるという仮説を立てます。世界システムのあらゆる知識を活用します。

#次に、マーカスは古典を引用し、人工知能の分野における記号操作とニューラル ネットワークに関する議論の歴史を詳しく調べました。

マービン ミンスキーやジョン マッカーシーなどの初期の人工知能の先駆者は、記号操作が前進する唯一の合理的な方法であると信じていました。

ニューラル ネットワークの先駆者であるフランク ローゼンブラット氏は、ニューラル ノードがデジタル入力を重ね合わせて処理する構造に基づいて AI のパフォーマンスが向上する可能性があると考えています。

実際、これら 2 つの可能性は相互に排他的ではありません。

AI が使用するニューラル ネットワークは、文字通りの生物学的ニューロン ネットワークではなく、人間の脳のいくつかの特徴を備えた簡略化されたデジタル モデルです。 . の機能を備えていますが、複雑さは最小限に抑えられています。

原則として、これらの抽象シンボルはさまざまな方法で接続でき、その中には論理演算や記号演算を直接実装できるものもあります。

ウォーレン・S・マカロックとウォルター・ピットは、この可能性を明確に認識して、1943年に神経活動に内在するアイデアの論理計算を発表しました。 。

1950 年代のフランク ローゼンブラット、1980 年代のデイビッド ルメルハートとジェイ マクレランドを含む他の人々は、記号操作の代替手段としてニューラル ネットワークを提案しました。ジェフリー・ヒントンもこの立場をおおむね支持しています。

#その後、マーカスはルカン、ヒントン、ヨシュア・ベンジオといったチューリング賞受賞者を次々と口説きました。

つまり、私が何を言っても関係ない、他の偉い人たちがそう言っているということです。

2015 年、LeCun、Bengio、Hinton は、深層学習に関するマニフェスト形式の論文を Nature 誌に執筆しました。

この記事はシンボルに対する攻撃で終わり、「シンボリック式に対するルールベースの演算を大きなベクトルに対する演算に置き換える新しいパラダイムが必要である」と主張しています。 。

実際、ヒントンはシンボルが行き止まりであると確信していたので、同じ年にスタンフォード大学で論文を発表しました。大学は「エーテル記号」と題したスピーチを行い、記号を科学史上最大の間違いの一つに例えました。

同様の議論は、1980年代に彼の元共同研究者であるルメルハートとマクレランドの2人によって、1986年の有名な著書「シンボルは「本質ではない」と主張する」の中で行われました。人間の計算」は大きな議論を巻き起こしました。

マーカス氏は、2018年に記号操作を擁護する記事を書いたとき、ルカン氏はハイブリッドAIに対する彼の議論を説明なしに却下し、「ほとんど間違っている」として却下したと述べた。 Twitter上で。

そして、ディープラーニング分野の2人の有名な専門家もハイブリッドAIへの支持を表明したと述べました。

Andrew Ng 氏は 3 月にそのようなシステムへの支持を表明しました。シーケンスを学習するための主要な深層学習アーキテクチャの 1 つである LSTM の共同作成者である Sepp Hochreiter も同様のことを行い、最も有望な広範な AI アプローチは神経記号 AI であると 4 月に公に述べました。

ルカンとブラウニングの新しい視点では、マーカスとスティーブン ピンカーが 1988 年以来提案してきたように、記号操作が実際に重要です。

したがって、マーカスはレクンを非難しました。「私はあなたの見解を数十年前に提案しましたが、あなたの研究は数十年前に遡ります。」

#これを言っているのは私だけではなく、他の偉人たちもそう思っています。

LeCun と Browning の残りの記事は、大きく 3 つの部分に分けることができます:

1. 私の立場の誤り説明 2. ハイブリッド モデルの範囲を狭める努力 3. 記号操作は、生得的な理由ではなく学習によるものである可能性があります。

次に、マーカスはルカンの論文の見解に反論しました。

ルカンとブラウニングは、「マーカスはこう言った、もしあなたがそうしなければ」そもそも記号操作がなければ、決して手に入れることはできないでしょう。」

#実際、私は 2001 年の著書『代数的思考』の中で、記号演算が生来的なものであるかどうかは不明であることを明確に認めました。

彼らは、「ディープラーニングはこれ以上進歩できない」という私の発言を批判しましたが、私の実際の言いたいことは、DL ではいかなる問題も進歩しないということではありません。ディープラーニング自体は、構成や推論などの特定のタスクには間違ったツールであるということです。

#同様に、彼らは、記号推論がシステムに存在するか存在しないか (1 か 0) のどちらかであると言って私を中傷しました。

#これはまったくナンセンスです。

DALL-E が推論に記号を使用しないのは事実ですが、これは、記号推論を含むシステムが存在するかどうかを意味するものではありません。 。

少なくとも 1970 年代のシステム MYCIN の頃には、さまざまな定量的推論を実行できる純粋に記号的なシステムが存在していました。

記号操作の生得性

記号操作能力は最初から確立するのではなく学習できるのでしょうか?

#答えは「はい」です。

# マーカス氏は、これまでの実験ではシンボルを操作する能力が生得的であることを保証できないが、この見解ではシンボルをほとんど区別できないと述べた。これらは、大量の経験に依存するあらゆる学習理論に挑戦をもたらします。

そして、次の 2 つの主な議論を提案します:

1 、学習性

マーカスは、2001 年の著書『The Algebraic Mind』の中で、一部のシステムが記号演算を学習できることを示しました。

#いくつかの開始点が組み込まれたシステムは、まったくの白紙の状態よりも世界を理解するのに効果的です。

実際、LeCun 自身の最も有名な著作である畳み込みニューラル ネットワークについても、その良い例です。ニューラル ネットワークの学習方法の研究には、大きな制約が組み込まれています。効率を向上させます。シンボリック操作が適切に統合されると、さらに大きな利益が達成される可能性があります。

2. 人間の幼児は、シンボルを操作する何らかの能力を示します

よく引用される一連のルール学習実験では、幼児は訓練された具体例を超えて抽象的なパターンを一般化しました。人間の幼児の暗黙の論理的推論能力に関するその後の研究により、この点がさらに証明されました。

# さらに、研究によると、たとえばミツバチは、これまで見たことのない照明条件に対して太陽の方位角関数を一般化できることがわかっています。

#LeCun 氏の見解では、記号を学ぶということは、後年に習得するものと同等です。より正確に、より正確に、プロフェッショナルなスキル。

不可解なのは、記号操作の生得的な性質に異議を唱えた後、ルカンが記号操作が後天的な習慣であることを証明する強力な証拠を提供しなかったことです。わかった。

赤ちゃんヤギが生まれてすぐに丘を這い降りることができるのであれば、なぜ初期のニューラル ネットワークにすぐに使えるちょっとした記号操作を組み込むことができないのでしょうか?

同時に、LeCun と Browning は具体的には述べませんでしたが、記号操作の固有メカニズムの欠如が、言語理解と推論におけるよく知られた特定の問題をどのように解決できるのでしょうか?

これらは弱い一般化しか示していません。深層学習は 1 から N までの問題を克服しているため、N 1 の問題を克服できるというある程度の自信を持っているはずです。自信。

ディープラーニングが限界に達しているのではないかと疑問に思う人もいるでしょう。最近 DALL-E 2、Gato、PaLM で見られるミッションの段階的な改善が続いていることを考えると、一時的な困難を「壁」と誤解しないのが賢明だと思われます。ディープラーニングの必然的な失敗は以前から予測されていましたが、それに賭ける価値はありません。

楽観主義は別のことですが、現実は明確に見なければなりません。

ディープラーニングは原理的に、主に構成性、体系化、言語理解の点でいくつかの特有の課題に直面しており、それらはすべて一般化と「分散」移行を中心に展開しています。 。

#今やディストリビューションの移行が現在のニューラル ネットワークのアキレス腱であることは誰もが認識しています。もちろん、ディープラーニングは進歩していますが、これらの基本的な問題についてはあまり進歩がありません。

#マーカスの見解では、記号操作が生得的に発生する状況は以前とほぼ同じです。 #1. 「代数的思考」の出現から 20 年が経過した現在のシステムでは、膨大なデータセットとトレーニングに直面しても、記号演算 (乗算など) を依然として確実に抽出することができません。

2. 人間の幼児の例は、正式な教育を受ける前に、彼らが自然言語と推論の複雑な側面を一般化する能力を持っていることを示しています。 3. 内なる象徴的な意味を少しだけ取り入れると、学習効率が大幅に向上します。 AlphaFold 2 のパワーの一部は、慎重に構築された分子生物学の固有の表現から来ています。

つまり、世界は大まかに 3 つの区分に分けられます。

1 つはシンボル操作装置を工場内に完備したシステムです。

#2 つ目は、生得的な学習装置を備えたシステムには記号操作が欠けていますが、正しいデータとトレーニング環境があれば、それを取得する十分な能力があるということです。

#3 番目は、十分なトレーニングを行っても完全なシンボル操作メカニズムを取得できないシステムです。

#現在の深層学習システムは、3 番目のカテゴリに分類されるようです。つまり、最初にシンボリック操作メカニズムがなく、プロセス中に信頼できるシンボリック操作メカニズムもありません。

#現在、シンボリック演算の起源を理解することが私たちの最優先事項です。ニューラル ネットワークの最も熱心な支持者でさえ、AI を実現する際の記号操作の重要性を認識しています。

そして、これが神経記号学コミュニティが注目していることです。データ駆動型学習と記号表現を単一のより強力なインテリジェンスに統合する方法調和？

以上がマーカスはルカンを批判する記事を投稿しました: 深層学習だけでは人間のような知能を達成することはできませんの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。