AIの再検討、ニューラルネットワークにおけるシンボル出現の発見と概念実証

この記事では、ニューラル ネットワークにおけるシンボリック概念の出現について議論する 2 つの最近の研究、つまり「ディープ ニューラル ネットワークの表現はシンボリックであるかどうか」に焦点を当てます。質問。 「応用技術の向上」という視点を迂回して、「科学の発展」という視点からAIを捉え直してみれば、AIモデルにおける記号出現現象が大きな意味を持つことが証明されることは間違いない。

#1. まず第一に、現在の解釈可能性研究のほとんどは、ニューラル ネットワークを「明確」、「意味論的」、または「」として説明しようとしています。論理的な」モデル。しかし、ニューラル ネットワークの象徴的な出現が証明できず、ニューラル ネットワークの固有の表現コンポーネントが実際に多くのカオスなコンポーネントを持っている場合、解釈可能性の研究のほとんどはその基本的な事実基盤を失うことになります。

2. 第二に、ニューラルネットワークの象徴的な創発が証明できない場合、深層学習の開発は「構造」や「損失関数」などの周辺要素に囚われる可能性が高くなります。 、「データ」レベルであり、高次認知レベルから知識レベルでの対話型学習を直接実現することはできません。この方向の開発には、よりクリーンで明確な理論的サポートが必要です。

そこで、この記事では主に以下の3つの側面から紹介していきます。

1. ニューラル ネットワークの象徴的な創発現象を確実に発見するために、ニューラル ネットワークによってモデル化された象徴的な概念を定義する方法。

2. 定量化された記号概念が信頼できる概念である理由 (スパース性、ニューラル ネットワーク表現の普遍的な一致、伝達可能性、分類、指標の歴史的解釈可能性の解釈)。

3. 記号概念の出現を証明する方法 - つまり、AI モデルが特定の状況 (過酷ではない条件) にあるとき、次の表現ロジックが適用されることを理論的に証明します。 AI モデルは分解可能です。非常に少数の譲渡可能な記号概念の分類ユーティリティ (この部分は 4 月末に公開で議論されます)。

論文アドレス: https://arxiv.org/pdf/2111.06206.pdf

論文アドレス: https://arxiv.org/pdf/2302.13080.pdf

##この研究の著者には、上海交通大学修士課程 2 年生の Li Mingjie 氏と、上海交通大学博士課程 3 年生の Ren Jie 氏が含まれます。任潔は張全石に師事した。彼らの研究チームは、ニューラル ネットワークの解釈可能性に関する研究を一年中行っています。解釈可能性の分野では、研究者は表現の説明、パフォーマンスの説明、比較的信頼性が高く合理的なもの、一部不合理なものなど、さまざまな角度から分析できます。しかし、さらに議論を進めると、ニューラル ネットワークの説明には 2 つの基本的なビジョンがあります。それは、「#ニューラル ネットワークによってモデル化された概念を明確かつ厳密に表現できるかどうか」

## です。 # 「ニューラル ネットワークのパフォーマンスを決定する要因を正確に説明できますか。」 「ニューラルネットワークによってモデル化された概念を説明する」という方向において、すべての研究者は「 表現が記号的概念化であるかどうか」という中核的な問題に直面する必要があります

」。この質問に対する答えが明確でない場合、その後の研究の実行は困難になります。ニューラル ネットワーク自体の表現がカオスであり、研究者が大量の「象徴的な概念」または「因果関係の論理」で説明を強要する場合、これは間違った方向に来ていませんか？ニューラル ネットワークのシンボリック表現の仮定は、この分野の詳細な研究の基礎ですが、この問題の実証により、人々は着手できなくなることがよくあります。

ほとんどの研究者がニューラル ネットワークについて最初に抱く直感は、「記号的であるはずはないでしょう?」というものです。結局のところ、ニューラル ネットワークはグラフィカル モデルではありません。 Cynthia らが執筆した「一か八かの意思決定についてはブラックボックス機械学習モデルの説明をやめ、代わりに解釈可能なモデルを使用する」という論文 [3] では、人々はニューラル ネットワークの事後的な説明を誤解していると述べています。

つまり、ニューラル ネットワークの内部表現は実際には非常に複雑なのでしょうか?明確、まばら、象徴的というよりも？この問題に焦点を当てて、私たちはゲームのインタラクション [4, 5] を定義し、ニューラル ネットワーク表現のボトルネック [6] を証明し、視覚概念のニューラル ネットワーク表現の特性を研究しました [7, 8]。ニューラルネットワークと密接に関係しており、変換とロバスト性の関係 [9, 10, 11, 12] が改善され、Shapley 値 [13] も改善されましたが、実験室の初期段階では、周辺部の探索のみでした##ニューラル ネットワーク表現がシンボリックであるかどうかを直接調査することはできませんでした。 #最初に結論について話しましょう -

ほとんどの場合、ニューラル ネットワークの表現は明確で、まばらで、記号的です

。この結論の背後には、多くの理論的証明と多くの実験による実証があります。理論的には、私たちの現在の研究は「記号化」を裏付けるいくつかの性質を証明しましたが、現在の証明は「記号化表現」について厳密かつ明確な答えを与えるには十分ではありません。今後数か月以内に、より厳密かつ包括的な証拠が得られるでしょう。 ニューラル ネットワークによってモデル化された概念を定義する方法

ニューラル ネットワークを分析する前に、「ネットワークによってモデル化された概念をどのように定義するか」を明確にする必要があります。実際、この問題については以前から関連研究があり [14,15]、実験結果は比較的優れていますが、理論的には「概念」の定義は「

厳密 ##」であるべきであると考えられます。

#」数学的保証。 したがって、ネットワーク出力に対するコンセプト S の有効性を定量化するために、論文 [1] でインデックス I(S) を定義しました。ここで、S はコンセプトを構成するすべての入力変数のセット。たとえば、ニューラル ネットワークと入力文 x = 「私は彼は緑の手だと思います。」があるとすると、各単語はネットワークの入力変数の 1 つと見なされ、「a」と「green」という 3 つの単語が含まれます。文では、「手」は潜在概念 S={a, green, hand} を構成できます。各概念 S は、S の

入力変数間の「AND」関係を表します。

この概念は、S のすべての入力変数が出現した場合にのみトリガーされ、それによって I がネットワーク出力 (S) ユーティリティに貢献します。 S の変数が隠蔽されると、I (S) のユーティリティは元のネットワーク出力から削除されます。たとえば、概念 S={a, green, hand} の場合、入力文内の単語「hand」がブロックされている場合、この概念はトリガーされず、ネットワーク出力にはこの概念の有用性が含まれません。は）。 # ニューラル ネットワークの出力は、トリガーされたすべての概念の効用の合計に常に分割できることを証明します。つまり、理論的には、n 個の入力ユニットを含むサンプルの場合、最大で

異なるオクルージョン メソッドが存在します。私たちは常に「少数の概念」を利用して「すべての

#」を「正確に適合」させることができます。さまざまなニューラル ネットワーク オクルージョン サンプルの出力値は、I (S) の「厳密さ」を証明します。以下の図は簡単な例を示しています。

さらに、論文 [1] で、私 (S ) が次のことを証明しました。ゲーム理論の 7 つの特性を満たしており、この指標の信頼性がさらにわかります。

さらに、ゲームインタラクション概念 I (S) が、Shapley 値 [16]、Shapley 相互作用指数 [17] など、ゲーム理論における多数の古典的な指標の基本メカニズムを説明できることも証明しました。 ]、およびShapley-Taylor相互作用指数[18]。具体的には、これら 3 つの指標を相互作用概念のさまざまな線形和の形式として表すことができます。

実際、研究チームの予備作業では、ゲーム インタラクション コンセプトの指標に基づいてシャプレー値の最適なベンチマーク値が定義されています[13]。 、ビジュアルニューラルネットワークによってモデル化された「プロトタイプビジュアルコンセプト」とその「美学」を探求します[8]。

ニューラル ネットワークが概念の明確で象徴的な表現をモデル化しているかどうか

この指標を使用して、上記の核心的な問題をさらに調査します。つまり、ニューラル ネットワークが明確に表現できるかどうかです。象徴的および概念的な表現は本当にトレーニング タスクから要約されるのでしょうか?定義された相互作用の概念は本当に意味のある「知識」を表すことができるのでしょうか、それとも純粋に数学から作られた、明確な意味を持たない単なる厄介な指標なのでしょうか?この目的を達成するために、私たちは次の 4 つの側面からこの質問に答えます。記号概念化の表現は、スパース性、サンプル間の転送可能性、ネットワーク間の転送可能性、および分類を満たさなければなりません。

要件 1 (概念の疎性): ニューラル ネットワークによってモデル化された概念は疎である必要があります。コネクショニズム、象徴主義の特徴は、人々がネットワークによって学習された知識を表すために、多数の密な概念を使用するのではなく、少数の疎な概念を使用することを望むことです。実験の結果、多数の潜在的な概念の中で、顕著な概念はごく少数であることがわかりました。つまり、ほとんどの対話型概念の対話効用 I (S) は 0 に近づくため、無視できます。非常に少数の対話型概念だけが有意な対話効用 I (S) を持ちます。このようにして、ニューラル ネットワークの出力は少数の概念の相互作用ユーティリティにのみ依存します。言い換えれば、各サンプルに対するニューラル ネットワークの推論は、少数の顕著な概念の有用性として簡潔に説明できます。

#要件 2 (サンプル間の移行性): ニューラル ネットワークによってモデル化された概念は、異なるサンプル間で移行可能である必要があります

単一のサンプルでスパース性を満たすには不十分ですが、さらに重要なのは、これらのスパースな概念的表現が異なるサンプル間で移行できる必要があることです。同じ相互作用概念が異なるサンプルで表現でき、異なるサンプルから常に同様の相互作用概念が抽出される場合、この相互作用概念は意味のある普遍的な知識を表す可能性が高くなります。逆に、ほとんどの相互作用の概念が 1 つまたは 2 つの特定のサンプルでのみ表されている場合、この方法で定義された相互作用は、数学的な定義のみで物理的な意味を持たないトリッキーなメトリクスである可能性が高くなります。実験では、同じカテゴリのサンプルに対してニューラル ネットワークによってモデル化された概念のほとんどを説明できる、より小さな概念辞書が存在することが多いことがわかりました。

また、いくつかの概念を視覚化したところ、通常、同じ概念が異なるサンプルに同様の効果をもたらすことがわかり、異なるサンプル間の概念の移行性も検証されました。 。

#要件 3 (ネットワーク間の移行性): 異なるニューラル ネットワークによってモデル化された概念間に移行性がある必要があります

同様に、これらの概念は、初期化が異なるネットワークであっても、アーキテクチャが異なるネットワークであっても、異なるニューラル ネットワークによって安定して学習できる必要があります。ニューラル ネットワークは完全に異なるアーキテクチャで設計され、異なる次元のモデル特徴をもつことができますが、異なるニューラル ネットワークが同じ特定のタスクに直面する場合、つまり、異なるニューラル ネットワークが安定して同様の学習を行うことができれば、「異なるパスで同じ目標を達成する」ことができます。インタラクション概念のセットであれば、このインタラクション概念のセットがこのタスクの基本的な表現であると考えることができます。たとえば、さまざまな顔検出ネットワークがすべて目、鼻、口の間のインタラクションをモデル化している場合、そのようなインタラクションはより「必須」で「信頼できる」と考えることができます。実験では、より顕著な概念ほど異なるネットワークで同時に学習することが容易であり、顕著な相互作用の相対的な割合が異なるニューラル ネットワークで共同モデル化されることがわかりました。

#要件 4 (概念の分類): ニューラル ネットワークによってモデル化された概念は分類可能である必要があります

#最後に、分類タスクの場合、概念の分類能力が高い場合、ほとんどのサンプルの分類に対して一貫したプラスの効果 (または一貫したマイナスの効果) が生じるはずです。効果)。分類可能性が高くなると、その概念が独立して分類タスクを実行できることが検証され、未熟な中間特徴ではなく信頼できる概念になる可能性が高くなります。また、この特性を検証するための実験を設計したところ、ニューラル ネットワークによってモデル化された概念は、より高度な分類特性を持つ傾向があることがわかりました。

要約すると、上記の 4 つの側面は、ほとんどの場合、ニューラル ネットワークの表現が明確で、疎で、記号的であることを示しています。もちろん、ニューラル ネットワークは常にこのような明確で象徴的な概念をモデル化できるわけではありません。いくつかの極端なケースでは、ニューラル ネットワークは疎で伝達可能な概念を学習できません。詳細については、私たちの論文 [2] を参照してください。

さらに、この相互作用を利用して大規模モデルを説明します [22]。

ニューラル ネットワークの解釈可能性におけるニューラル ネットワークの記号表現の重要性

1. 解釈可能性の分野の発展の観点から見ると、最も直接的なものは、意義 「ニューラルネットワークを概念レベルで説明する」ための一定の根拠を見つけることです。ニューラル ネットワーク自体の表現が記号的でない場合、記号的な概念レベルからのニューラル ネットワークの説明は表面をなぞるだけであり、説明の結果は見かけ上のものに違いなく、深層学習のさらなる発展を実質的に推定することはできません。

2. 2021 年から、ゲーム インタラクションに基づいた理論システムを徐々に構築していきます。ゲームインタラクションに基づいて、「ニューラルネットワークによってモデル化された知識をどのように定量化するか」と「ニューラルネットワークの表現能力をどのように説明するか」という2つの中心的な問題を均一に説明できることがわかりました。 「ニューラル ネットワークによってモデル化された知識をどのように定量化するか」という方向において、この記事で言及した 2 つの研究に加えて、研究チームの予備研究は、シャプレー値の最適なベンチマーク値を定義するためのゲーム インタラクション概念指標に基づいています。 13]、ビジュアル ニューラル ネットワークによってモデル化された「プロトタイプのビジュアル コンセプト」とその「美学」を探求します [7,8]。

3. 「ニューラル ネットワークの表現能力をどのように説明するか」という方向で、研究チームは、さまざまな相互作用を表現する際のニューラル ネットワークのボトルネックを証明し [6]、その方法を研究しました。ニューラル ネットワークの使用 ニューラル ネットワークによってモデル化された相互作用概念は、その一般化を決定するために使用され [12、19]、ニューラル ネットワークによってモデル化された相互作用概念とその敵対的堅牢性および敵対的伝達可能性との関係が研究されます [9、10、11] , 20]、ベイジアン ニューラル ネットワークでは複雑な相互作用概念をモデル化することがより困難であることが証明されています [21]。

詳細については、次を参照してください:

https://zhuanlan.zhihu.com/p/264871522/

以上がAIの再検討、ニューラルネットワークにおけるシンボル出現の発見と概念実証の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。