AIの発展は70年後の統一をもたらすのか? Ma Yi、Cao Ying、Shen Xiangyang の最新 AI レビュー: 知能生成の基本原理と「標準モデル」を探る

人工知能は 70 年にわたって発展しており、テクニカル指標は常に更新されていますが、「知能」とは一体何なのか、またそれがどのように出現し、発展していくのかについては未だに答えがありません。

最近、マー・イー教授は、コンピューター科学者のシェン・シャンヤン博士および神経科学者の曹英教授と協力して、知能の出現と発達に関する研究レビューを発表し、研究を理論的に解明したいと考えています。統合して人工知能モデルの理解と解釈可能性を向上させます。

論文リンク: http://arxiv.org/abs/2207.04630

で紹介されました。記事 2 つの基本原則: 倹約と自己一貫性。

著者は、これが人工的であれ自然的であれ、知性の台頭の基礎であると信じています。古典文献にはこれら 2 つの原則のそれぞれについて数多くの議論と詳細が記載されていますが、この記事ではこれら 2 つの原則を完全に測定可能かつ計算可能な方法で再解釈します。

これらの 2 つの最初の原則に基づいて、著者らは効率的な計算フレームワーク、つまり現代の深層ネットワークと多くの人工知能の実践を統合し説明する圧縮閉ループ転写を導き出します。

##2 つの基本原則: シンプルさと自己一貫性

詳細について学習の恩恵を受けて、過去 10 年間の人工知能の進歩は主に、均質なブラック ボックス モデルのトレーニングと、大規模なニューラル ネットワークをトレーニングするための粗雑なエンジニアリング手法に依存してきました。

パフォーマンスは向上し、手動で特徴を設計する必要はありませんが、ニューラル ネットワーク内で学習された特徴表現は解釈できず、大規模なモデルは継続的な改善などの別の問題を引き起こします。データ収集と計算のコスト、豊富さの欠如、安定性（モード崩壊）、学習された表現の適応性（壊滅的な忘却の傾向）、変形や敵対的攻撃に対する堅牢性の欠如など。

著者は、ディープネットワークと人工知能の現在の実践におけるこれらの問題の根本的な理由の1つは、インテリジェントシステムの機能と組織原則の体系的かつ包括的な理解が欠如していることであると考えています。

たとえば、分類のための識別モデルとサンプリングまたは再生のための生成モデルのトレーニングは、実際には基本的に分離されています。この方法でトレーニングされたモデルは通常、開ループ システムと呼ばれ、監視または自己監視によるエンドツーエンドのトレーニングが必要です。

制御理論では、このような開ループ システムは予測の誤差を自動的に修正できず、環境の変化に適応できません。それはまさにこのためです。問題は、「閉ループ システム」であるということです。ループ フィードバック」は、システムが自律的にエラーを修正できるようにするために、制御システムで広く使用されています。

同様の教訓が学習にも当てはまります。識別モデルと生成モデルを組み合わせて完全な閉ループ システムを形成すると、学習は自律的 (外部監視なし) になり、より効率的になります。 、安定していて適応性があります。

インテリジェント システムで必要となる可能性のある弁別器やジェネレーターなどの機能コンポーネントを理解するには、より「原理的」かつ「統合された」観点からインテリジェンスを理解する必要があります。 。

この記事では、倹約と自己一貫性という 2 つの基本原則を提案しており、それぞれ学習に関する 2 つの基本的な質問に答えています。

何を学ぶべきか: データから何を学ぶべきか、そして学習の質をどのように測定するか?

学習方法: 効率的かつ効果的なコンピューティング フレームワークを通じて、このような学習目標を達成するにはどうすればよいでしょうか?

「何を学ぶか」という最初の質問については、単純性の原則により次のようになります。

学生の学習目標インテリジェントシステムとは、外界の観測データから低次元構造を発見し、それらを最もコンパクトかつ構造化された方法で再編成して表現することから学びます。

これは「オッカムの剃刀」の原則です。必要な場合以外はエンティティを追加しないでください。

この原則がなければ、インテリジェンスは不可能です。外界の観測データが低次元構造を持たない場合、学習や記憶に値するものは何もなく、良好な一般化や予測は不可能です。

また、インテリジェントシステムでは、エネルギー、空間、時間、材料などの資源をできる限り節約する必要があり、この原理は「圧縮原理」と呼ばれることもあります。ただし、インテリジェンスの節約は、最適な圧縮を達成することではなく、効率的な計算手段を通じて観測データの最もコンパクトで構造化された表現を取得することです。

では、シンプルさを測定するにはどうすればよいでしょうか?

一般的な高次元モデルの場合、一般的に使用される多くの数学的または統計的な「尺度」の計算コストは​​指数関数的であり、低次元構造のデータ分布の場合も同様です。最尤法、KL ダイバージェンス、相互情報量、ジェンセン・シャノン距離、ワッサーシュタイン距離など。

著者は、学習の目的は実際には、元の高次元入力から低次元表現を取得するためのマッピング (通常は非線形) を確立することであると考えています。

#このようにして、取得された特徴 z の分布はよりコンパクトで構造化される必要があります。コンパクトであるということは、より経済的なストレージを意味します。 ; 構造とは、より効率的なアクセスと使用を意味します。特に、線形構造は内挿または外挿に最適です。

この目的のために、著者は 3 つのサブ目標を達成するために線形判別表現 (LDR) を導入します。 圧縮: 高次元の感覚データ x を低次元表現 z にマッピングします;

線形化: 非線形サブサーフェスに分布する各タイプのオブジェクトを線形部分空間にマッピングします;

スパース化:異なるカテゴリを相互に独立した、または関連性の低い部分空間にマッピングします。

これらの目標は、コーディング レートを最大に削減 (レート削減) することで達成でき、学習したすべてのコードが確実にLDR モデルは最適な節約パフォーマンスを備えています。

「学習方法」という 2 番目の質問については、自己一貫性の原則により次のようになります。

自律型インテリジェント システムは、観察されたデータと再生成されたデータの内部表現の差異を最小限に抑えることにより、外界の観察に対して最も自己矛盾のないモデルを模索します。

倹約の原則だけでは、学習されたモデルが外界のデータに関するすべての重要な情報を確実に捕捉できるわけではありません。たとえば、クロスエントロピーを最小限に抑えて各カテゴリを 1 次元のワンホット ベクトルにマッピングすることは、倹約の一形態とみなすことができます。

優れた分類器を学習する可能性がありますが、学習された特徴がシングルトンに崩壊する可能性もあります (ニューラル崩壊とも呼ばれます)。このような学習された特徴には、元のデータを再生成するのに十分な情報が含まれなくなります。

より一般的な LDR モデルを考慮したとしても、コーディング レートの差を最大化するだけでは、環境特徴空間の正しい次元を自動的に決定することはできません。

特徴空間の次元が低すぎる場合、学習されたモデルはデータと一致せず、高すぎる場合、モデルが過剰に一致する可能性があります。

より一般的には、知覚学習は特定のタスクの学習とは異なると主張します。知覚の目標は、何が知覚されているかについて予測可能なすべてを学習することです。

アインシュタインはかつてこう言いました:「物事はシンプルに保つべきですが、シンプルすぎてもいけません。」

ユニバーサル学習エンジン

これら 2 つの原則に基づいて、この記事では、例として視覚画像データ モデリングを使用して、圧縮閉ループ転写フレームワークを導き出します。

非線形データ サブフロー パターンの圧縮閉ループ転写を内部で実行し、内部表現の違いを比較して最小限に抑えることで LDR を実現します。

エンコーダー/センサーとデコーダー/コントローラー間のチェイス アンド フライト ゲームにより、デコードされた表現によって生成されたデータの分布を追跡し、観察された実際のデータ分布と一致させることができます。

さらに、著者は、圧縮された閉ループ転写が増分学習を効果的に実行できることを指摘しました。

新しいデータ クラスの LDR モデルは、エンコーダーとデコーダーの間の制約付きゲームを通じて学習できます。過去に学習したクラスの記憶は自然に学習でき、制約として保持されます。ゲーム、つまり、閉ループ転写の「固定点」として。

この記事では、このフレームワークの普遍性についてさらに推測的なアイデアを提案し、それを 3 つの次元に拡張します。強化学習、およびその神経科学、数学、高度な知能への影響の予測。

# 第一原理から導き出されたこのフレームワークを通じて、情報符号化理論、閉ループフィードバック制御、最適化/深化の概念ネットワーク理論とゲーム理論が有機的に統合され、完全な自律型インテリジェント システムの不可欠な部分となります。

圧縮された閉ループ アーキテクチャは、自然界およびさまざまなスケールのすべての知的生物に遍在していることは言及する価値があります。脳（圧縮された感覚情報）から脊髄回路（圧縮された筋肉の動き）、DNA（圧縮されたタンパク質の機能情報）など。

したがって、著者は、圧縮閉ループ転写がすべてのインテリジェントな動作の背後にある「普遍的な学習エンジン」であるべきだと信じています。これにより、自然または人工知能システムが、一見複雑な感覚データから低次元の構造を発見して洗練し、それらを簡潔で正規の内部表現に変換して、将来の外界の正しい判断と予測を容易にすることができます。

これは、あらゆる知性の発生と発展の計算基礎とメカニズムです。

参考: http://arxiv.org/abs/2207.04630

以上がAIの発展は70年後の統一をもたらすのか? Ma Yi、Cao Ying、Shen Xiangyang の最新 AI レビュー: 知能生成の基本原理と「標準モデル」を探るの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。