Bengio、LeCunらは共同でNeuroAIホワイトペーパーを発表：知能の本質は感覚運動能力であり、AIは身体化されたチューリングテストという大きな課題に直面している

この記事は Lei Feng.com から転載されたものです。転載する必要がある場合は、Lei Feng.com の公式 Web サイトにアクセスして許可を申請してください。

歴史的に、神経科学は、人工知能、特に人間や他の動物が使用する視覚、報酬ベースの学習、物理世界との相互作用、および言語の開発の主要な原動力であり、インスピレーションの源でした。神経科学の助けを借りて人工知能が大きく進歩した分野は非常に得意です。

しかし、近年、人工知能の研究手法は神経科学から離れつつあるようであり、その一方で、人工知能はその実現に向けて困難を抱え続けています。人間の知性に追いつきます。こうした背景を背景に、神経科学に回帰する人工知能のブームが具体化しつつある。

最近、ホワイトペーパーで「NeuroAI は次世代の人工知能革命を促進する」という宣言が発表されました。

「次世代人工知能に向けて: NeuroAI 革命の触媒」と題されたこのホワイト ペーパーには、チューリング賞受賞者の 2 人のヨシュア ベンジオ氏とヤン ルカン氏、および科学者のグループが集結しています。機械学習と神経科学の組み合わせに関する研究に取り組んでいます。

彼らは次のように求めています。人工知能の進歩を加速し、その大きな可能性を実現するには、NeuroAI の基礎研究に取り組む必要があります。

白書では、生物学的知性の基本要素は、世界と感覚運動的な相互作用を行う動物の能力にあると最初に提案しています。

この前提から出発して、彼らは NeuroAI の究極の課題として身体化チューリング テスト (The Embodied Turing Test) を提案しました。 その核心は高度な感覚運動能力にあり、具体的には、世界との相互作用、動物の行動の柔軟性、エネルギー効率などの特性が含まれます。

同時に、ホワイトペーパーでは、AI システムの具体化されたチューリング テストを観点から分解し、具体化されたチューリング テストに対処する道筋も構想しています。進化の歴史を中級から下位の生物への進化、より複雑な生物の知性への進化へと導きます。

1 NeuroAI: 知能の本質は感覚運動にあります

人工知能が神経科学に戻ることは避けられません。

人工知能革命の種は、数十年前に計算神経科学に蒔かれました。神経科学者のマカロックとピッツが 1943 年に初めてニューロンの特性の数式表現を提案したとき、彼らは、どのようにニューロンの特性を数学的に表現するかを理解しようとしました。脳が計算します。

フォン ノイマンの「フォン ノイマン コンピュータ アーキテクチャ」の発明は、実際には「人工脳」を構築するという彼の初期の研究に端を発しており、脳に関する非常に限られた知識からインスピレーションを得ました。

人工知能の最新の波を引き起こした深層畳み込みネットワークは、猫の視覚処理回路から直接派生した人工ニューラル ネットワーク (ANN) 上に構築されています。 。

同様に、強化学習 (RL) の開発は、学習プロセス中の動物の神経活動から直接インスピレーションを受けました。

数十年後、人工ニューラル ネットワークと強化学習は人工知能の主流の技術となったため、一般の人の目には「汎用人工知能」が長期的な目標のように見えます。それは私たちの手の届くところにあります。

しかし、この楽観的な見方に反して、多くの最前線の人工知能研究者は、人間のタスクをすべて完了できるマシンを構築できるようになるには、まだ新たな大きな進歩を遂げる必要があると考えています。 . 人工システム、そして人間だけでなく、マウスのような単純な動物も同様です。

現在の AI は、この目標には程遠いです:

AI は、チェスや囲碁の対戦相手などのゲームで、どんな人間にも簡単に勝つことができますが、十分に堅牢ではなく、新しいことに直面するとしばしば困難に遭遇する; 「ゲーム内でチェスの駒を並べて動かす」などの一連の単純な行動; AI の感覚運動能力はまだ 4 歳児のそれに匹敵するものではない; AI には、予測不可能な世界と対話する能力、新しい状況に対処する難しさ、すべての動物が容易に習得できる基本的な能力が欠けています。

したがって、ますます多くの AI 研究者は、現在の道を続けると上記の問題を解決するのは難しいのではないかと疑っています。

私たちの目標は、AI にもっと自然な知能を持たせることなので、自然な知能システムからの新しいインスピレーションが必要になるでしょう。

畳み込み人工ニューラル ネットワークと強化学習は神経科学からインスピレーションを受けていますが、機械学習に関する現在の研究のほとんどは別の道を歩んでいます。脳の注意メカニズムに基づいたニューラル ネットワークなどの神経科学。

現代の神経科学は確かに依然として AI に影響を与えていますが、その影響はまだ非常に小さいです。これは機会損失です。過去数十年にわたり、私たちは脳に関する豊富な知識を蓄積してきました。これにより、自然の知性を支える解剖学的構造と機能構造についての洞察を得ることができました。

これらの科学者がこのホワイトペーパーで宣言を発表したのは、このような背景に対してです:

NeuroAI は新興の技術です。神経科学と AI が交わるこの分野は、ニューラル コンピューティングをより深く理解することでインテリジェンスの基本要素が明らかになり、それが AI の次の革命を促進し、最終的にはそれに匹敵する、あるいはそれと同等の機能を実現するという前提に基づいています。人間を超える、能力人工エージェント。彼らは今が、生物学的知能の原理を特定して理解し、それをコンピューターやロボットシステムで使用できるように抽象化するための大規模な取り組みを開始する良い時期であると信じています。

それでは、生物学的知能の最も重要な要素は何でしょうか?

彼らは、適応性、柔軟性、まばらな観察から一般的な推論を行う能力が知性の基本要素であり、それらは特定の方法で開発されてきたと信じています。この形式は、何億年にもわたって進化してきた私たちの基本的な感覚運動回路に存在します。

抽象的な思考や推論は、人間に特有の知的行動であると考えられがちですが、人工知能のパイオニアであるモラベック氏が述べたように、抽象的思考は「まだ歴史が無いかもしれない新しい技術」にすぎません。 10万年...それが機能するのは、より古く、より強力であるが、多くの場合無意識に行われている感覚運動知識によってサポートされているからです。」

ラット、マウス、そして人間以外の人々、これは確かに良いニュースです。霊長類は自然知能に関する実験のより扱いやすいモデルとして機能し、人工知能が霊長類の知覚能力と運動能力に匹敵することができれば、人間の知能への一歩ははるかに小さくなる可能性がある。したがって、世界との具体的な感覚運動相互作用においてすべての動物が持つ核となる能力を解明できれば、NeuroAI は大きな進歩につながるはずです。

2 NeuroAI グランド チャレンジ: 身体化チューリング テスト

1950 年、アラン チューリングは、機械の能力をテストするための「イミテーション ゲーム」を提案しました。人間と同じ、または人間と区別できない知的な行動を示すこと。このコンテストでは、人間の審査員が、実際の人間と人間の反応を模倣するように訓練された機械との間の自然言語会話を評価する必要がありました。

チューリングは、「機械は考えることができるかどうか」という答えのない質問と比較して、確かなことは、機械の会話能力が人間の会話能力と区別できるかどうかであると提案しました。言語は人間の知性の頂点を表すため、会話できる機械は知的でなければならないという暗黙の見解があります。

チューリングはある意味では正しかったが、別の意味では間違っていた。

チューリング テストに合格できる AI はありませんが、最近では、大規模なテキスト ライブラリで訓練された言語システムが説得力のある会話を実現しています。この成功の一部は、私たちが知性、主体性、行動力を重視する傾向も明らかにしています。そして対話者への意識さえも。しかし同時に、これらのシステムは特定の推論タスクではまだパフォーマンスが低く、知能は言語能力をはるかに超えているということをチューリングが無視していたという事実を強調しています。

自然言語処理 (NLP) システムによって現在犯されている間違いの多くは、AI に意味論、因果推論、常識が根本的に欠如していることを示しています。 これらのモデルでは、単語の意味は現実世界ではなく、統計的な共起に存在するため、最も高度な言語モデルであっても、機能が向上しているにもかかわらず、一部の領域では依然として制限されています。物理学の知識。

当初策定されたチューリング テストは、動物と共有し、柔軟な方法で物理世界を理解する AI の能力を探求したものではなく、人間の進歩を判断するための単純な定性基準を確立しただけでした。 AIを構築しています。その理解力と能力は、数え切れない世代の自然選択によって磨かれた人間の知覚と運動能力に基づいている可能性があります。

これに関して、著者はホワイトペーパーで拡張された「身体化チューリングテスト」(身体化チューリングテスト)を提案しました。これには、高度な感覚運動能力が含まれ、AIベンチマークを統合し、インタラクションを比較できます。人間や他の動物たちと一緒に。

動物を例に挙げると、それぞれの動物は独自の一連の能力を持っているため、ダムを建設する人工ビーバーの能力をテストするなど、独自の具体化されたチューリング テストも定義されています。 、リスが木から飛び降りる能力など。その中で、多くの中核的な感覚運動能力は、ほぼすべての動物に共有されており、新しい環境に適応するために必要な感覚運動スキルを急速に進化させる動物の能力は、これらの中核的なスキルが動物に強固な基盤を提供していることも示しています。

ホワイトペーパーで紹介されている感覚運動能力の一般的な特徴をいくつか以下に示します。

世界との交流

目的を持って動き回り、環境と交流することは、動物の特徴です。

最適化制御、強化学習、模倣学習などの分野におけるロボット工学の最近の進歩にもかかわらず、動物レベルの身体制御や物体の操作にはまだ程遠いです。

著者らは、神経科学はモジュール式および階層化されたアーキテクチャに関する指針を提供できるため、これらのアーキテクチャが AI に適応されると、AI もこれらの機能を備えることができると指摘しています。

それだけでなく、神経科学は、部分自律性 (上位レベルからの入力なしに階層内の低レベルのモジュールがどのように機能できるか) など、AI システムを設計するための原則的なガイダンスも提供します。モジュール）は半自律的に動作します）および段階的制御（もともと遅い計画プロセスによって生成された動きが、最終的にどのように速い反射システムに転送されるか）など。

特定のニューラル ネットワークが移動、手足、手、指の細かい制御、知覚、行動の選択などのさまざまなタスクにどのように関与しているかを理解することで、そのようなシステムがどのように機能するかについての洞察が得られる可能性があります。ロボットへの実装は経路を提供し、より認知的な分野における他の形態の「知能」に対する解決策も提供する可能性があります。たとえば、低レベルのモーション制御に回路原理を組み込むと、AI における高レベルのモーション プランニングのためのより良い基盤を提供するのに役立ちます。

動物の行動の柔軟性

特定のニューラル ネットワークを理解するもう 1 つの目標は、個体によって生み出されるさまざまな行動に共鳴する方法で関与する能力を開発することです。多数の柔軟で多様なタスクのための人工知能システム。

現在、AI は、画面上のピクセルとゲーム スコアを使用するだけで、ヒューマン トーチのようなビデオ ゲームで人間を上回るパフォーマンスを簡単に学習できます。ただし、人間のプレイヤーとは異なり、これらの AI は脆弱で小さな変動に非常に敏感であり、ゲームのルールを変更したり、数ピクセルを入力したりすると、パフォーマンスが壊滅的に低下する可能性があります。これは、AI がピクセルからアクションへのマッピングを学習するが、ゲーム内でそれらを支配するエージェント、オブジェクト、物理学の理解を必要としないためです。

同様に、自動運転車自体は、実際にトラックから箱が落ちるのを見ない限り、前のトラックから箱が落ちてくる危険性を知りません。ボックスが悪い結果を招く場合。木箱が落下する危険性について訓練されていても、システムは、前の車から吹き飛ばされた空のビニール袋を、何としても避けるべき障害物とみなす可能性があります。これは、ビニール袋が危険であることを実際には理解していないためです。それが何を、あるいはどれほど物理的に脅かすのか。トレーニング データに見られないシナリオを処理できないということは、広く依存している AI システムにとって大きな課題です。

予測不可能で常に変化する世界で成功するには、 エージェントは柔軟性があり、状況の定期的な展開傾向を通じて新たな変化を把握できなければなりません。 これは動物もやること。動物は現実世界の相互作用を基盤としているため、進化と発達の過程で、成長するために必要なスキルのほとんどを生まれながらに持っているか、限られた経験からすぐに習得します。

つまり、特定のタスクをゼロから訓練することが、動物がスキルを獲得する方法ではないことは明らかです。動物は、白紙の世界に入り、その後、ラベル付けされた大規模なトレーニングセットに依存して学習するわけではありません。機械学習は、自己教師あり学習、転移学習、継続学習、メタ学習、ワンショット学習、模倣学習など、この「白紙の状態」を回避する方法を模索してきましたが、これらの方法は、見出された柔軟性には及んでいません。動物の中で。

この目的を達成するために、著者らは、現実世界における行動の柔軟性の基礎となる神経回路レベルの原理を理解することで、たとえ単純な動物であっても、行動のパフォーマンスを大幅に向上させる可能性があると信じています。 AI. 柔軟性と実用性。つまり、進化がすでに行ってきた最適化プロセスを利用して、現実世界の相互作用のためのユニバーサル回路の探索を劇的に加速することができます。

エネルギー効率

現在、AI が直面し、私たちの脳が克服した重要な課題はエネルギー効率です。たとえば、GPT-3 などの大規模な言語モデルをトレーニングするには、1,000 メガワット時を超える時間が必要で、これは小さな町の 1 日分の電力に十分な量です。 AI のトレーニングに使用されるエネルギーの総量は膨大であり、急速に増加しています。それに比べて、生物システムはよりエネルギー効率が高く、たとえば人間の脳は約 20 ワットを使用します。

脳とコンピュータの間で要求される能力の違いは、情報処理の違いに起因します。アルゴリズム レベルでは、大規模言語モデルなどの現代の大規模人工ニューラル ネットワークは大規模なフィードフォワード アーキテクチャに依存しており、時間の経過に伴う一連のプロセスに重点を置くため、連続情報を処理するための再帰の潜在的な力が無視されることがよくあります。 。

現在、リカレントネットワークには効果的なクレジット割り当て計算メカニズムがないため、脳は柔軟なループアーキテクチャを使用して長期シーケンスを処理し、明らかに時間クレジット割り当てを解決できます。問題 - 現在人工ニューラル ネットワークで使用されているフィードフォワード クレジット割り当てメカニズムよりもさらに効率的です。 脳を使って再帰回路の効率的なトレーニング メカニズムを設計する方法をガイドできれば、システムのエネルギー効率をさらに向上させながら、シーケンシャル データを処理する能力を向上させることができるかもしれません。

第 2 に、実装レベルでは、生物学的ニューロンは主に非同期通信プロトコルである活動電位 (スパイク) を送信することによって相互作用します。従来のデジタル要素間の相互作用と同様に、ニューロンの出力は 0 と 1 の文字列として見ることができますが、デジタル コンピューターとは異なり、「1」(つまりピーク) のエネルギー消費はそれよりも数倍高くなります。それは「0」桁の大きさです。生体回路はスパイクがまばらな状態で動作するため、非常に活動的なニューロンであっても 10% のデューティ サイクルを超えることはほとんどなく、ほとんどのニューロンはより低いレートで動作するため、エネルギー効率がはるかに高くなります。

さらに、他の要因も生物学的ネットワークのエネルギー効率の向上に寄与する可能性があります。たとえば、生物学的ネットワークは、一部のコンポーネントの信頼性が非常に低い場合や「ノイズが多い」場合でも、依然として効率的に計算できます。

シナプス放出 (ニューロンの通信方法) は非常に信頼性が低く、メッセージが 10 件中 1 件しか配信されない可能性があります。この回路は、スパイク列が非常に変化しやすいように構成されており、この特性により、神経回路が確率的推論を実行できる可能性があります。

これは、不確実性の下でのロバストな計算の一種です。現在、ピーク ネットワークの可能性を活用するために多くの研究が進められていますが、これまで比較できるソリューションはまだありません。生体回路を備えた、同等のエネルギー効率を備えた「キラー アプリケーション」。現時点での主な問題は、「ニューロモーフィック チップ」は生来の神経回路機能を再現しておらず、簡単に訓練できないため、エネルギー効率は高いものの、エネルギーを大量に消費するデジタル チップほど有用ではないことです。

このような状況において、著者は、AI でより高いエネルギー効率を達成するには、スパース スパイク ネットワークのアイデアを利用するだけでなく、神経回路を提供することもできると提案します。機能と学習 通常のニューロモーフィック チップが実装されています。

3 身体化チューリングテストへの対処法

それでは、身体化チューリングテストを満たすAIをどのように開発すればよいのでしょうか?

著者は、進化史の観点から一歩ずつ進めることができるのではないかと考えています。たとえば、ほとんどの動物は、食べ物に向かって移動したり、脅威から遠ざかったりするなど、目標に向けた動きをします。これに基づいて、視覚や嗅覚などのさまざまな感覚を組み合わせる、さまざまな感覚情報を通じて食べ物と脅威を区別する、以前の場所に移動する、目標を達成するためのインセンティブと脅威を比較検討する、正確な方法で世界と対話するなど、より複雑なスキルが構築されます。目標を達成するなど。

これらの複雑な能力は、線虫などの単純な生物に見られますが、魚や哺乳類などのより複雑な動物では、これらの能力は、より強力な行動戦略を達成するための新しい戦略と組み合わせるように設計されています。この進化的観点は、具現化されたチューリング テストを相互依存する一連の段階的な課題に分割し、この一連のテストを繰り返し最適化することで解決する戦略を示唆しています。

さらに、低レベルおよび中レベルの課題を表す生物には、線虫、ハエ、魚、げっ歯類、霊長類が含まれており、これらはすべて神経科学研究で広く使用されているシステムです。 、これらの動物の行動パターンの背後にある回路やメカニズムについてこれまでに蓄積された知識を利用して、仮想環境や仮想生物を使用してコンピューター上で関連する研究を行うことができます。

行動に必要なレベルの柔軟性を達成するために、身体化チューリング テストに合格した AI は、自己教師あり学習、継続学習、転移学習を調査するための種固有の一連のテストに直面します。 、メタ学習や生涯記憶など。 これらのテストは、研究の進捗状況を測定できるように標準化することもできます。 最終的に、成功した仮想生物は、ロボットの取り組みを通じて物理世界に適応し、現実世界の問題を解決するために使用できます。

上記の目標を達成するには、多くのリソースが必要であるだけでなく、従来の人工知能や神経科学以外の心理学、工学、言語学などの分野での成果も必要です。これらの分野の既存の専門知識を単に活用するだけでなく、私たちの最優先事項は、工学/計算科学と神経科学の両方に優れた新世代の AI 研究者を 育成することです。

これらの研究者は、数十年にわたる神経科学を活用して、人工知能研究の新たな方向性を描くことになります。最大の課題は、神経科学、計算科学、その他の関連分野の相乗効果を活用して探査を進める方法を決定すること、つまり、脳回路、生物物理学、化学のどの詳細が重要で、どの詳細が AI アプリケーションに使用できるかを決定することです。 。 忘れる。

したがって、コンピューターに適した方法で神経科学の知識を抽象化し、人工知能に関連する結果を生み出すための実験の計画を支援できる、さまざまな分野のトレーニングを受けた研究者が緊急に必要です。結果。

2 番目に、これらの仮想エージェントを開発およびテストできる共有プラットフォームを作成する必要があります。このニーズに対処するために反復を作成し、チューリング テストを具体化し、人工生物を進化させる際に直面する最大の技術的課題の 1 つは、コンピューティング能力です。現在、単一の特定のタスク (3D 空間での身体の制御など) のためだけに大規模なニューラル ネットワーク モデルをトレーニングするには、専用の分散ハードウェアで数日かかる場合があります。

第三に、ニューラル コンピューティングに関する基礎的な理論的および実験的研究をサポートする必要があります。

私たちは過去数十年にわたって脳について多くのことを学び、脳の個々の細胞やニューロン、そしてそれらがどのように機能するかについてますます理解し始めています。 work 動作する単純な回路の一部。これらのモジュールに関する知識を備えた私たちの次のステップは、統合された知的システムである脳がどのように動作するかを探求することに全力を注ぐことです。

この全体を探求するには、1,000 種類の異なる 1,000 億個のニューロンがどのように接続されているかを深く理解する必要があり、各ニューロンが他の数千のニューロンとどのように相互作用するかを理解する必要があります。ニューロン間の適応的な接続には、知能であるコンピューティング能力の理解も必要です。 したがって、脳をリバースエンジニアリングして、その動作の基本原理を抽象化する必要があります。

仮想エージェントの開発により、このプロセスが大幅に加速されることに注意してください。仮想エージェントを使用すると、実際の動物とコンピュータでシミュレートされた動物を使った実験を直接比較できるため、根底にある問題が明らかになります。神経回路レベルの特性のメカニズムと、堅牢な制御、柔軟な動作、エネルギー効率、およびインテリジェントな動作に必要なメカニズム。

神経科学と人工知能の間の強力な相乗効果を活用するには、分野を超えた大規模研究を組織し、実現するためのプログラムとインフラストラクチャのサポートが必要です。

4 結論

神経科学には人工知能の開発を促進してきた長い歴史があり、その将来の発展にも大きな可能性がありますが、インテリジェンス インテリジェンス コミュニティのほとんどのエンジニアや計算科学者は、神経科学を活用できるということを知りません。

フォン ノイマン、チューリング、その他のコンピューティング理論の巨人の思考に対する神経科学の影響について、通常のコンピューター サイエンスのコースではほとんど言及されません。かつては、NeurIPS などの最先端の人工知能カンファレンスが、Showcase で最新の情報を共有するために使用されていました。その結果、計算論的神経科学と機械学習が生まれますが、カンファレンスに参加する人々は現在、ほぼ機械学習のみに焦点を当てており、神経科学を無視しています。

# 「エンジニアはより良い飛行機を作るために鳥を研究するわけではない」はよく言われることです。しかし、航空の先駆者たちが実際に鳥を研究し、現代でも学者が研究していることもあり、この類推は成り立ちません。さらに、このアナロジーは、より基本的なレベルでは当てはまりません。現代の航空工学の目標は「鳥レベル」の飛行を達成することではありませんが、人工知能の主な目標は確かに「人間レベル」を達成、または超えることです。 " 知能。

コンピュータが多くの点で人間を上回っているのと同じように（素数を計算する能力など）、飛行機は速度、航続距離、貨物輸送能力の点で鳥を上回っています。航空技術者の目標が本当に、密林の中を飛行し、木の枝に静かに着陸できる「鳥レベル」の機能を備えた機械を構築することである場合、これらの技術者は鳥がどのようにそれを行うかに細心の注意を払う必要があります。

同様に、人工知能の目標が動物レベルの常識的な感覚運動知能を達成することである場合、研究者は、この予測不可能な世界で進化してきた動物の行動から学ぶ方が良いでしょう。

以上がBengio、LeCunらは共同でNeuroAIホワイトペーパーを発表：知能の本質は感覚運動能力であり、AIは身体化されたチューリングテストという大きな課題に直面しているの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。