Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%

研究者らは、システム 2 の蒸留が将来の継続学習 AI システムの重要な機能になれば、システム 2 のパフォーマンスが低い推論タスクのパフォーマンスをさらに向上させることができると述べています。

大規模言語モデル (LLM) 戦略に関しては、一般に 2 つのタイプがあり、1 つは即時システム 1 (高速応答)、もう 1 つはシステム 2 (遅い思考) です。

システム 2 推論が思慮深い思考を好むのに対し、生成的中間思考では、モデル (または人間) がタスクを正常に完了したり、指示に応答したりするために推論して計画を立てることができます。システム 2 の推論では、特にシステム 1 (より自動的な思考) が失敗する可能性がある状況では、努力した精神活動が必要です。

したがって、System 1 は、中間トークンを生成せずに、入力に基づいて直接応答を生成できる Transformer のアプリケーションとして定義されます。システム 2 は、検索または複数のプロンプトを実行して最終的に応答を生成するメソッドなど、中間トークンを生成するメソッドとして定義されます。

業界は、思考チェーン、思考ツリー、思考マップ、分岐解決と結合、システム 2 アテンション、言い換え、応答 (RaR) などを含む、一連の関連するシステム 2 テクノロジーを提案してきました。多くの方法では、この明示的推論のおかげでより正確な結果が表示されますが、多くの場合、これを行うと推論コストと応答待ち時間が高くなります。したがって、これらのメソッドの多くは運用システムでは使用されず、主にシステム 1 で使用されます。

人間の場合、意図的 (システム 2) から自動的 (システム 1) にスキルを移行する方法を学習するプロセスは、心理学では自動性、および手続き記憶の使用として知られています。たとえば、初めて車で通勤するとき、人は目的地に到着するための計画と意思決定に意識的な努力を費やすことがよくあります。ドライバーがこのルートを繰り返すと、運転プロセスが潜在意識に「コンパイル」されます。同様に、テニスなどのスポーツも「第二の天性」になる可能性があります。

この記事では、Meta FAIR の研究者が同様の AI モデルのアプローチを調査します。 このメソッドは、ラベルなしのサンプルのセットを与えられた教師なしの方法でコンパイルを実行し、システム 2 蒸留と呼ばれます。各例では、特定のシステム 2 メソッドを適用し、教師なしの方法で予測の品質を測定します。

たとえば、固有の答えを持つタスクの場合、研究者は自己一貫性を適用し、複数回サンプリングします。システム 2 の十分に一貫した例として、この結果を蒸留して蒸留プールに追加する必要があると想定しています。次に、システム 1 は、収集されたサンプルのプールに対するシステム 2 メソッドの予測と一致するように微調整されますが、中間ステップは生成されません。以下の図 1 は、システム 2 をシステム 1 に抽出する全体的なプロセスを示しています。

研究者らは、4 つの異なる System 2 LLM メソッドと 5 つの異なるタスクについて実験を実施しました。私たちの方法は、さまざまな設定でシステム 2 の推論をシステム 1 に抽出することができ、場合によってはシステム 2 の教師の結果よりも優れていることがわかりました。さらに、これらの予測はわずかな計算コストで生成できるようになりました。

たとえば、彼らは、偏った意見や無関係な情報に対処するタスク (システム 2 アテンション)、特定の推論タスクでの応答の明確化と改善 (RaR)、および LLM のきめ細かい評価 (分岐 - 解決 -マージ）。

ただし、すべてのタスク、特に思考の連鎖を必要とする複雑な数学的推論タスクをシステム 1 に抽出できるわけではありません。これは人間にも反映されており、人間は思慮深いシステム 2 の推論がなければ特定のタスクを実行できません。

論文アドレス: https://arxiv.org/pdf/2407.06023v2

システム 2 をシステム 1 に蒸留します

セットアップ: システム 1 およびシステム 2 モデル

入力 x が与えられると、研究者らは、2 つの応答モードを実装できる単一モデル (彼らの場合は大規模言語モデル (LLM)) のセットアップを検討しました:

• システム 1: 出力 y を直接生成します。このタイプのアプローチは、基礎となる自己回帰ニューラル ネットワーク (Transformer) の層を転送して出力トークンを生成することによって機能します。

• システム2。このようなメソッドは、基礎となる Transformer を使用して、最終応答トークン (場合によっては複数の呼び出し (ヒント) を含む) を生成する前に、あらゆる種類の中間出力トークン z を生成します。

正式には、研究者はシステム 2 モデル S_II を LLM p_θ と入力 x を受け入れる関数として扱い、特定のアルゴリズムを使用して LLM を繰り返し呼び出して中間マーカー z を生成し、出力 y を返すことができます。

System 2 方法可能涉及多个提示、分支、迭代和搜索，同时使用 LLM 生成中间结果以供进一步处理。相比之下，System 1 模型仅考虑原始输入 x 并直接调用 LLM pθ 来生成输出 y：

方法：System 2 蒸馏

本文方法的第一步是使用 System 2 模型对未标记的输入 X 生成响应：

然后，这些响应 y^i_S_II 可直接用作 System 2 蒸馏目标，以微调 System 1 模型。但是，它们容易受到噪声的影响：其中一些响应可能是高质量的，而另一些可能是低质量或不正确的。对于涉及简短响应（通常具有唯一正确（但未知）的答案）的简短问答和推理任务，研究者考虑采用无监督管理步骤来尝试提高训练数据质量。他们考虑了以下两种依赖于自洽性标准的变体：

• 输出的自洽性：对 S_II (x^i ; p_θ) 进行总共 N 次采样，并接受多数投票响应；如果没有多数投票获胜者，则丢弃该示例。

• 输入扰动下的自洽性：以输出不变的方式扰动输入 x^i，例如改变提示中多项选择题的顺序，并计算每次扰动的 S_II；如果输出不一致，则丢弃该示例。

之后研究者得到了合成数据集 (X_S_II , Y_S_II)，其中 X_S_II 是 X 的一个过滤子集，目标是 Y_S_II。最后一步是使用这个蒸馏出来的训练集对参数为 p_θ 的 LLM 进行监督微调。研究者通常从当前状态 p_θ 初始化此模型，然后继续使用新数据集进行训练。微调后，他们得到一个 LLM ，这是一个 System 1 模型，预计可提供与评估的 System  2 模型类似的输出和性能提升。

实验结果

训练和评估设置

研究者使用 Llama-2-70B-chat 作为所有实验的基础模型。他们需要一个具有足够能力的基础模型，使其能够像 System 2 模型一样高效运行，同时还具有可以微调的开放权重，因此做出了此选择。

同时，研究者考虑了几种 System 2 方法，包括 System 2 Attention、 RaR、分支解决合并（Branch-Solve-Merge）和思维链， 并重点关注每种方法都显示出强大性能的任务。

对于 System 1，研究者使用指令调整后的基础模型作为标准基线进行零样本推理。他们报告每个任务的任务特定指标，以及「#Tokens」指标，后者衡量评估集上每个输入生成的平均 token 数量。System 2 方法则包括中间 token 生成以及最终输出 token 生成。

Rephrase and Respond 蒸馏

RaR 是一种 System 2 方法，它首先提示语言模型以进一步阐述的方式来复述原始问题，然后基于复述的问题生成响应，目的是提供更优的输出。

对于蒸馏数据，研究者使用输出的自洽性为 RaR 构建 System 2 蒸馏数据集。对于每个输入，他们对最后一个字母（ last letter）任务进行了八次采样迭代，并同样对硬币翻转（coin flip）任务的每个阶段进行八次采样迭代，然后用多数投票来确定最终输出。

首先来看最后一个字母连接（Last letter Concatenation）任务。此任务侧重于符号推理，要求模型连接给定单词的最后一个字母。整体结果如下表 1 所示。

基线 System 1 模型 (Llama-2-70B-chat) 的准确率达到 30.0%，低于 System 2 的 1-Step 和 2-Step RaR 方法（分别为 39.5% 和 44.5%）。通过本文无监督技术将 2-Step RaR 方法蒸馏回 System 1 Llama-2-70B-chat 模型，则实现了 98.0% 的惊人准确率。

与零样本聊天模型相比，模型可以有效地从这些训练数据中学习如何解决任务。RaR 的蒸馏有效地继承了 System 2 和 System 1 的优势，既保留了 System 2 的准确率优势，而其推理成本与 System 1 相当。

再来看硬币翻转推理任务。这种符号推理任务经常在研究中进行测试，它涉及确定硬币的最终面（正面或反面），从已知的初始位置开始，经过一系列用自然语言描述的翻转，例如「硬币正面朝上」。

整体结果见上表 1。Llama-2-70B-chat（零样板）在此任务上的成功率为 56.1%，而 1-Step 和 2-Step RaR 的成功率分别为 58.5% 和 77.2%。因此，使用 2-Step 方法获得了巨大改进。通过本文无监督技术将 2-Step RaR 蒸馏回 System 1 Llama-2-70B-chat 可以获得 75.69% 的结果。

因此，蒸馏的 System 2 模型提供的性能与 System 2（2 Step RaR）相当，但不需要使用 2 个提示执行 LLM 程序。

System 2 Attention 蒸馏

Weston 和 Sukhbaatar (2023) 提出了 System 2 Attention (S2A)，这种方法有助于减少模型的推理陷阱，例如依赖输入中的偏见信息或关注不相关的上下文。

研究者验证了将 S2A 提炼到 System 1 中的可行性，特别是 SycophancyEval 问答任务，该任务包含已知会损害 LLM 性能的输入中的偏见信息。

结果如下表 2 所示，报告了 3 个随机种子的平均准确率。正如预期，基线（System1）LLM 在有偏见部分的准确率较低，容易受到有偏见输入的影响。S2A 显著提高了有偏见输入的性能。System 2 蒸馏表现出与 System 2 方法类似的强大性能。

更多实验结果请参阅原论文。

以上是Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%的详细内容。更多信息请关注PHP中文网其他相关文章！