脳はどのように言語を処理するのでしょうか?プリンストン大学のチームがトランスフォーマーのモデルを分析

Editor | Radish Skin

言語を処理するとき、脳は複雑な言語構造から意味を構築するために特殊な計算を展開します。 Transformer アーキテクチャに基づく人工ニューラル ネットワークは、自然言語処理のための重要なツールです。

プリンストン大学の研究者は、Transformer モデルと言語処理における人間の脳の機能的特化を研究しています。

Transformer は、構造化された回路計算を通じて単語間の文脈情報を統合します。ただし、現在の研究は主に、これらの回路によって生成される内部表現 (「埋め込み」) に焦点を当てています。

研究者らは回路計算を直接分析しました。これらの計算を、単語全体の文脈情報を統合する機能的に特化した「変換」に分解しました。研究者らは、参加者が自然主義的な物語を聞いている間に得られた機能的MRIデータを使用して、これらの「変換」が皮質言語ネットワーク全体の脳活動の大きな違いを説明できるかどうかをテストした。

機能的に特化された各「注意ヘッド」によって実行される創発的な計算が、特定の皮質領域の脳活動をさまざまな方法で予測することが研究によって証明されています。これらの注意の頭部は、低次元の皮質空間のさまざまな層とコンテキストの長さに対応する勾配に沿って下降します。

この研究は、「トランスフォーマーベースの言語モデルと人間の脳における共有機能特化」というタイトルで、2024 年 6 月 29 日に「Nature Communications」に掲載されました。

言語理解は基本的に建設的なプロセスです。私たちの脳は、単語間の局所的な依存関係を解決し、言語の低レベルの単位を意味の高レベルの単位に組み立て、最終的には世界を理解するために使用する物語を形成します。

たとえば、話者が「秘密の計画」について言及した場合、この構造内の単語間の関係を暗黙的に処理して、「秘密」が「計画」を修飾することを理解します。より高いレベルでは、周囲の物語のコンテキストを使用して、そのフレーズの意味を理解します。この計画には何が含まれているのか、誰がこの秘密を守っているのか、誰に秘密にしているのか、などです。

このコンテキストには、数分間にわたって何百もの単語が含まれている可能性があります。人間の脳は、音声信号を実用的な意味表現に変換する一連の機能的に特化した計算を通じてこれらのプロセスを実装すると考えられています。

従来の神経画像研究では、実験的手段を使用して特定の言語の計算プロセスを分析し、制御された環境における脳の活動にマッピングします。ただし、このアプローチでは自然言語の複雑さを一般化するのが困難です。

図: 言語モデルの内部コンポーネントから脳の活動を予測するコーディング モデル。 (出典: 論文)

近年、Transformer アーキテクチャに基づくディープ ニューラル ネットワークにより、自然言語処理の方法が変わりました。これらのモデルは、自己教師ありトレーニングを通じて大規模な実際のテキスト コーパスを学習し、長いシーケンス内の各単語の文脈に応じた意味表現を可能にします。

Transformer モデル内の埋め込み表現に依存することに加えて、Transformer モデルの一部のアテンション ヘッドは、動詞の直接オブジェクトの解析や名詞修飾子の追跡など、特定の機能の特殊化を実装します。

現在の研究では、研究者らは、ヘッドワイズ変換（個々のアテンションヘッドによって実行される、機能的に特化された文脈上の計算）が、脳における言語処理への補完的な窓を提供できると考えています。自然言語処理の神経計算理論では、最終的には単語全体で意味がどのように構築されるかを指定する必要があります。

Transformer アーキテクチャは、過去の単語の意味が現在の単語の意味にどのように適合するかを定量化するための候補メカニズムへの明示的なアクセスを提供します。

これが人間の言語処理の重要な部分である場合、これらの変換は、自然言語を理解する際の人間の脳の活動をシミュレートするための優れた基盤を提供するはずです。研究者らは、広く研究されている BERT モデルから変換を抽出し、エンコード モデルを使用して、これらの変換が他のいくつかの言語特徴ファミリーとともに自然言語理解中の脳活動の予測にどの程度うまく機能するかを評価しました。

図: 皮質言語野にわたる 3 つのクラスの言語モデルの比較。 (出典: 論文)

研究者らは、古典言語機能、非文脈的単語埋め込み (GloVe)、および文脈的 Transformer 機能 (BERT) の 3 つの言語モデルのパフォーマンスを比較しました。

イラスト: 埋め込みと変換のレイヤー設定。 (出典: 論文)

研究者らは、変換が埋め込みと同等に実行され、一般に非文脈埋め込みや古典的な構文注釈を上回るパフォーマンスを示したことを発見しました。これは、周囲の単語から抽出された文脈情報が非常に豊富であることを示しています。

イラスト: 低次元の脳空間における頭部の変換。 (出典: 論文)

実際、モデルの初期層での変換は、埋め込み自体よりも、脳活動における固有の違いの多くを説明します。最後に、研究者らはこれらの変換を、個々のアテンションヘッドによって実行される機能固有の計算に分解します。

イラスト: 頭脳と依存予測の対応。 (出典: 論文)

研究者らは、頭方向の特定の特性 (振り返り距離など) が、頭方向の変換と皮質音声耳の間のマッピングを決定することを発見しました。研究者らはまた、特定の言語領域については、特定の言語依存性を優先的にエンコードする頭部変換によって、脳活動がより適切に予測されることも発見した。

要約すると、この研究は人間の言語処理を理解する上で新しい視点を提供します。

論文リンク:

https://www.nature.com/articles/s41467-024-49173-5

以上が脳はどのように言語を処理するのでしょうか?プリンストン大学のチームがトランスフォーマーのモデルを分析の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。