大規模な言語モデルは、自然言語処理において驚くべき推論能力を示していますが、その基礎となるメカニズムはまだ明らかになっていません。大規模な言語モデルが広く適用されているため、アプリケーションのセキュリティ、パフォーマンスの制限、および制御可能な社会的影響にとって、モデルの動作メカニズムを解明することが重要です。 最近、中国と米国の多くの研究機関（ニュージャージー工科大学、ジョンズ・ホプキンス大学、ウェイクフォレスト大学、ジョージア大学、上海交通大学、 Baidu など）は、従来の微調整モデルとプロンプトに基づく非常に大規模なモデルの解釈可能性技術を包括的にレビューし、モデル説明の評価基準と今後の研究について議論する、大規模モデルの解釈可能性技術のレビューを共同でリリースしました。 
- 紙のリンク: https://arxiv.org/abs/2309.01029
- Github リンク: https://github.com/hy-zhao23/Explainability-for-Large-Language-Models
大規模なモデルを説明するのはなぜ難しいのでしょうか?自然言語処理タスクにおける大規模言語モデルの驚くべきパフォーマンスは、社会から広く注目を集めています。同時に、さまざまなタスクにわたる大規模モデルの驚異的なパフォーマンスをどのように説明するかは、学術界が直面している差し迫った課題の 1 つです。従来の機械学習や深層学習モデルとは異なり、超大規模モデル アーキテクチャと大量の学習教材により、大規模モデルに強力な推論機能と一般化機能を持たせることができます。大規模言語モデル (LLM) の解釈可能性を提供する際の主な問題としては、次のものが挙げられます。
- モデルの複雑さの高さ。深層学習モデルや LLM 時代以前の従来の統計機械学習モデルとは異なり、LLM モデルは規模が大きく、数十億のパラメータが含まれており、その内部表現と推論プロセスは非常に複雑であり、その具体的な出力を説明するのは困難です。
- 強いデータ依存性。 LLM は学習プロセス中に大規模なテキスト コーパスに依存するため、これらの学習データの偏りや誤差などがモデルに影響を与える可能性がありますが、学習データの品質がモデルに与える影響を完全に判断することは困難です。
- ブラックボックスの性質。私たちは通常、Llama-2 のようなオープンソース モデルであっても、LLM をブラック ボックス モデルとして考えています。その内部の推論連鎖や意思決定プロセスを明確に判断することは難しく、入力と出力に基づいて分析するしかないため、解釈が困難になります。
- #出力の不確実性。 LLM の出力は不確実であることが多く、同じ入力に対して異なる出力が生成される可能性があり、これも解釈の難しさを高めます。
- 評価指標が不十分です。現在の対話システムの自動評価指標ではモデルの解釈可能性を十分に反映できておらず、人間の理解を考慮したさらなる評価指標が必要である。
大規模モデルの解釈可能性をより適切に要約するために、BERT 以上のレベルの大規模モデルのトレーニング パラダイムを 2 つのタイプに分類します: 1) 従来の微調整パラダイム、2) プロンプトに基づくパラダイム。
#従来の微調整パラダイム
従来の微調整の場合-tuning パラダイムは、まず大規模なラベルなしテキスト ライブラリで基本的な言語モデルを事前トレーニングし、次に特定のドメインからのラベル付きデータ セットを通じてそれを微調整します。このような一般的なモデルには、BERT、RoBERTa、ELECTRA、DeBERTa などが含まれます。 プロンプトベースのパラダイム
プロンプトベースのパラダイムプロンプトを使用して、ゼロショット学習または少数ショット学習を実装します。従来の微調整パラダイムと同様に、基本モデルを事前トレーニングする必要があります。ただし、プロンプトパラダイムに基づく微調整は、通常、命令チューニングとヒューマンフィードバックからの強化学習 (RLHF) によって実装されます。このような一般的なモデルには、GPT-3.5、GPT 4、Claude、LLaMA-2-Chat、Alpaca、Vicuna などが含まれます。トレーニング プロセスは次のとおりです: 従来の微調整パラダイムに基づくモデルの解釈には、個々の予測の解釈が含まれます(ローカルな説明) とニューロン、ネットワーク層などのモデルの構造レベルのコンポーネントの説明 (グローバルな説明)。 ローカル説明は単一サンプルを予測します説明する。その説明方法には、特徴の帰属、注意に基づく説明、例に基づく説明、および自然言語による説明が含まれます。
#1. 特徴アトリビューションの目的は、各入力特徴 (単語、フレーズ、テキスト範囲など) とモデル予測の間の相関関係を測定することです。特徴の帰属方法は次のように分類できます。
- #摂動ベースの解釈、特定の入力特徴を変更することによる出力結果への影響を観察する
- According勾配の解釈では、入力に対する出力の偏微分が、対応する入力の重要度指標として使用されます。
- 代替モデル。人間が理解できる単純なモデルを使用して適合させます。各入力の重要性を取得するための複雑なモデル出力の単一コンポーネント;
- 分解ベースのテクノロジは、特徴相関スコアを線形に分解することを目的としています。
2. 注意に基づく説明: 注意は入力の最も関連性の高い部分に焦点を当てる方法としてよく使用されるため、注意は予測を説明するために使用できる関連情報を学習する可能性があります。注意力に関連する一般的な説明方法には、次のものが含まれます。
- 注意度の変化をさまざまなスケールで直感的に観察するための注意力視覚化テクノロジー。
- 注意の偏微分の出力など、関数ベースの解釈。しかし、研究の視点としての注意の使用については、学術界で依然として議論の余地があります。
3. サンプルベースの説明では、主に敵対的なサンプルと反事実的なサンプルに分けられる、個々のケースの観点からモデルを検出して説明します。 。
- # 敵対的な例は、小さな変化に非常に敏感なモデルの特性に対して生成されたデータです。自然言語処理では、通常、これらは次のように取得されます。テキストの変更。これは人間にとっては困難です。テキストの変換が異なると、モデルからの予測が異なることがよくあります。
- 反事実サンプルは、否定などのテキストを変形することによって取得されます。これは通常、モデルの因果推論能力のテストです。
#4. 自然言語説明では、モデルのトレーニングに元のテキストと手動でラベル付けされた説明を使用するため、モデルは、モデルの意思決定プロセス。
#グローバルな解釈
##グローバルな解釈は、以下から派生することを目的としています。モデルの構成レベルにはニューロン、隠れ層、およびより大きなチャンクが含まれており、大規模なモデルがどのように機能するかについての高次の説明を提供します。主に、さまざまなネットワーク コンポーネントで学習された意味論的な知識を調査します。 プローブベースの解釈プローブ解釈テクノロジーは、主に、事前にトレーニングされたモデルまたは細かい層で浅い層をトレーニングすることによる分類子の検出に基づいています。調整されたモデル 次に、分類器がホールドアウト データセットで評価され、分類器が言語の特徴や推論能力を識別できるようになります。
-
ニューロン活性化 従来のニューロン活性化解析では、重要なニューロンの一部のみを考慮し、ニューロンと意味的特徴との関係を学習していました。最近では GPT-4 をニューロンの説明にも使用するようになり、一部のニューロンを選択して説明するのではなく、すべてのニューロンを説明することができます。
-
概念ベースの解釈入力はまず一連の概念にマッピングされ、次に予測に対する概念の重要性を測定することによってモデルが解釈されます。
## プロンプトパラダイムに基づくモデルの説明では、2 つのモデルの機能を区別し、モデル学習の道筋を探るために、基本モデルとアシスタント モデルを個別に説明する必要があります。検討される問題には主に、少数ショット学習に関するモデルの説明を提供する利点、少数ショット学習と思考連鎖能力のソースの理解が含まれます。
#基本モデルの説明
# #モデル学習における説明の利点 少数ショット学習の場合、説明がモデル学習に役立つかどうかを調べます。
状況学習 大規模モデルにおける状況学習のメカニズムを調査し、大規模モデルと中規模モデルの状況学習の違いを区別します。 思考チェーン プロンプト モデルのパフォーマンスを向上させる思考チェーン プロンプトを調べます。
-
#アシスタントモデルの説明
Fine-tuning のロール アシスタント モデルは、通常、一般的な意味知識を取得するために事前トレーニングされ、その後、教師あり学習と強化学習を通じてドメイン知識を取得します。アシスタント モデルの知識が主にどの段階から得られるかについては、まだ研究の余地があります。
幻想と不確実性 大規模モデルの予測の精度と信頼性は、依然として現在の研究の重要なトピックです。大規模モデルの強力な推論能力にもかかわらず、その結果はしばしば誤った情報や幻覚に悩まされます。この予測の不確実性は、その広範な適用に大きな課題をもたらします。
# #モデルによって説明される評価指標には、妥当性、忠実性、安定性、堅牢性などが含まれます。この論文では主に、1) 人間に対する合理性、2) モデルの内部ロジックへの忠実度という、広く関係している 2 つの側面について説明しています。 従来の微調整モデルの説明の評価は、主に局所的な説明に焦点を当ててきました。妥当性を実現するには、多くの場合、設計された標準に対するモデルの解釈と人間による注釈付きの解釈の測定評価が必要です。忠実度は定量的指標のパフォーマンスにより注意を払っていますが、指標が異なればモデルやデータの異なる側面に焦点を当てているため、忠実度を測定するための統一基準がまだ不足しています。モデルの解釈を促すことに基づく評価には、さらなる研究が必要です。1.効果的な正しい説明の欠如。 この課題は 2 つの側面から生じています: 1) 効果的な説明を設計するための基準の欠如; 2) 効果的な説明の欠如は、説明の評価に対するサポートの欠如につながります。 ##2. 出現現象の起源は不明です。 大規模モデルの創発能力の探索は、モデルとデータのそれぞれの観点から行うことができます モデルの観点からは、1) 創発現象を引き起こすモデル構造、2) 最小モデルスケールと複雑性を備え、言語を超えたタスクで優れたパフォーマンスを発揮します。データの観点から見ると、1) 特定の予測を決定するデータのサブセット、2) 創発的能力とモデルのトレーニングとデータの汚染との関係、3) 事前予測のそれぞれの効果に対するトレーニング データの質と量の影響。トレーニングと微調整。 3. 微調整パラダイムとプロンプト パラダイムの違い。 分布内と分布外でのパフォーマンスの違いは、推論方法の違いを意味します。 1) データが分散している場合の推論パラダイムの違い、2) データが異なるように分散されている場合のモデルの堅牢性の違いの原因。 #4. 大規模モデルのショートカット学習問題。 2 つのパラダイムの下では、モデルのショートカット学習の問題はさまざまな側面で存在します。大規模なモデルには豊富なデータ ソースがありますが、ショートカット学習の問題は比較的軽減されます。ショートカット学習の形成メカニズムの解明と解決策の提案は、モデルの一般化にとって依然として重要です。 #5. 注意の冗長性。 注意モジュールの冗長性の問題は両方のパラダイムに広く存在しており、注意の冗長性を研究することでモデル圧縮技術に解決策を提供できます。 # 6. 安全と倫理。 大規模モデルの解釈可能性は、モデルを制御し、モデルの悪影響を制限するために重要です。偏見、不公平、情報汚染、社会操作などの問題です。説明可能な AI モデルを構築すると、上記の問題を効果的に回避し、倫理的な人工知能システムを形成できます。 以上が大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
