大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好

Angesichts der derzeit gängigen Praxis, bei der Feinabstimmung großer Modelle hauptsächlich auf von Menschen generierten Daten zu basieren, hat Google DeepMind nach einem effizienteren Weg gesucht, diese Abhängigkeit zu verringern.

Wie Sie und ich sehen können, verändern Large Language Models (LLMs) die Deep-Learning-Landschaft und demonstrieren überlegene Fähigkeiten bei der Generierung von Texten in menschlicher Qualität und der Lösung verschiedener Sprachaufgaben. Während die Branche die Leistung bei bestimmten Aufgaben durch die überwachte Feinabstimmung der von Menschen gesammelten Daten weiter verbessert hat, stößt die Beschaffung hochwertiger menschlicher Daten auf erhebliche Engpässe. Dies gilt insbesondere für Aufgaben, bei denen es um die Lösung komplexer Probleme geht, die erhebliche Ressourcen und Fachwissen erfordern.

Wie löst man das Problem? Durch Modelle generierte synthetische Daten sind eine vielversprechende Alternative, die skalierbar und kostengünstig sein kann, solange die Qualität der Daten erhalten bleibt.

Während LLM in der Lage ist, die generierten Daten selbst auszuwerten, untersucht Google DeepMind in diesem Artikel einen einfacheren Aufbau, der ein externes skalares Feedback-Signal als Qualitätsindikator für jede generierte Probe verwendet.

Papieradresse: https://arxiv.org/pdf/2312.06585.pdf

Um das Training anhand modellgenerierter Daten zu untersuchen, erwogen die Forscher ein einfaches, aber leistungsstarkes Sprachmodell zum Selbsttraining Die Methode erfordert nur zwei Funktionen: Die eine besteht darin, Stichproben basierend auf dem Modell zu generieren, und die andere darin, den Bewertungsmechanismus zur Bewertung dieser Stichproben zu verwenden.

Um Klarheit und Konsistenz zu gewährleisten, haben die Forscher eine verstärkende Selbsttrainingsmethode ReST^?? übernommen und bewiesen, dass diese Methode Erwartungsmaximierung (EM) für verstärkendes Lernen nutzen kann. Insbesondere wechselt ReST^?? zwischen Erwartungs- und Maximierungsschritten.

1. Generierung (E-Schritt): Das Sprachmodell generiert mehrere Ausgabebeispiele für jeden Eingabekontext und filtert diese Beispiele dann mithilfe binärer Belohnungen, um einen Trainingsdatensatz zu sammeln.
2. Verbesserung (M-Schritt): Das ursprüngliche Sprachmodell wird überwacht, anhand des Trainingsdatensatzes aus dem vorherigen E-Schritt verfeinert und dann im nächsten E-Schritt verwendet.

Forscher bestätigten, dass ReST^?? und seine Varianten bei der Verbesserung von Sprachmodellen in verschiedenen Bereichen erfolgreich waren, darunter maschinelle Übersetzung, semantische Analyse, Präferenzausrichtung und grundlegendes Denken.

Darüber hinaus wurde in früheren Arbeiten hauptsächlich ReST^??für relativ kleine Modelle (bis zu 7 Milliarden Parameter) verwendet, mit begrenzter Skalierbarkeit für größere Modelle. Daher zielt dieser Artikel darauf ab, die Wirksamkeit und Skalierbarkeit von modellgenerierten synthetischen Daten im Vergleich zu von Menschen generierten Daten in zwei anspruchsvollen, aber weniger untersuchten Bereichen zu untersuchen: Mathematische Problemlösung auf Wettbewerbsniveau (MATH) und Codegenerierung (APPS).

Empirische Ergebnisse zeigen, dass bei der Verwendung von ReST^?? für PaLM 2-Modelle unterschiedlicher Größe erhebliche Leistungsverbesserungen bei mathematischen Argumentations- und Codegenerierungsaufgaben erzielt werden. Modelle, die auf vom Modell generierten synthetischen Daten verfeinert wurden, erzielten größere Leistungssteigerungen als Modelle, die auf von Menschen geschriebenen Daten trainiert wurden. Interessanterweise nimmt die Leistung ab einer bestimmten Anzahl von ReST^??-Iterationen ab, was auf die Möglichkeit einer Überanpassung bei einer kleinen Anzahl von Trainingsproblemen hinweist.

Darüber hinaus wurde das Modell mithilfe von ReST verfeinert^?? Die Pass@k-Metrik und die Mehrheitsabstimmungsleistung wurden verbessert. Diese fein abgestimmten Modelle zeigen auch Leistungsverbesserungen bei relevanten, aber ausgebliebenen Benchmarks, darunter Mathematik (GSM8K und ungarische HS-Finale), Codierung (HumanEval) und Big-Bench-Schweraufgaben.

Zusammenfassend zeigen die Ergebnisse dieser Arbeit, dass Selbsttraining mit Feedback eine vielversprechende Methode ist, um die Abhängigkeit von menschlichen Daten zu reduzieren.

Erwartetes Maximum (EM) für das verstärkende Selbsttraining

Erstens basiert diese Studie auf der früheren Forschung von Dayan und Hinton und verwendet ein Sprachmodell zur Beschreibung des EM-basierten Rahmens für verstärkendes Lernen . Insbesondere definierten sie zunächst eine binäre optimale Variable O mit ?(?= 1|?,?)∝?(?(?,?)); dann erreichten sie für die nicht abnehmende Funktion ?: ℝ → ℝ+ die Maximierung Beobachtung?= 1 (Erzielung einer hohen Belohnung), wird die folgende Formel erhalten:

然而，求解上式中的序列 ? 的和很棘手。因而本文考虑相对于参数 ? 和变分分布 ?( ?|?) 最大化其 ELBO ?( ??, ?)，而不是最大化 log ?(? = 1; ?)。具体来说：

公式（2）中的 EM 算法在 E-step（Expectation） 和 M-step（Maximization）之间交替进行。

ReST^??：受 EM 框架的启发，接下来论文讨论了 Gulcehre 等人提出的 ReST 方法的简化版本。为了清楚起见，本文将这种方法称为 ReST^??，它将 RL pipeline 中的数据收集 (E-step) 和策略优化 (M-step) 进行解耦。如算法 1 所示：

生成（E-step）：在此步骤中，该研究通过从当前策略 ?? 中采样输出序列来生成数据集。在这里，输入是从原始数据集中重新采样的。然后使用二元奖励函数 ?(?, ?) 对中的输出序列进行评分。

改进（M-step）：在第 ?步迭代中，该研究使用 E-step 中的新数据集来微调策略 ??。不同于 Gulcehre 的研究，他们微调基本预训练语言模型，以最大限度地减少特定于任务的过度拟合并最大限度地减少与基本模型的偏差。为了进行微调，该研究最小化奖励加权负对数似然损失。一旦策略得到改进，就可以再次创建质量更好样本的新数据集。

实验和分析

本文进行实验的主要目标是回答以下问题：

1. 与人类生成的数据进行微调相比，ReST^??的效果如何？ 
2. 需要多少次迭代才能获得最佳性能？ReST^??多长时间会导致训练集过度拟合？ 
3. ReST^??如何影响 pass@k 和多数投票表现？ 
4. 如果用户在特定任务上使用模型生成的数据进行微调，是否会迁移到其他任务上？在广泛的任务中评估本文的微调模型时，与基本模型相比，性能是否会下降？
5. 大约需要多少输入数据才能从 ReST^?? 获得大部分性能提升？ReST^??的一次迭代是否足够？

该研究使用 PaLM 2 模型和 Google Cloud 上的公共 API 进行实验，包括 PaLM 2-S (Bison)、PaLM 2-S* (Codey) 和 PaLM 2-L (Unicorn)。训练数据集采用 MATH 数据集和 APPS 数据集。

图 2 和图 3 分别显示了 ReST^??在 MATH 和 APPS 数据集上训练的性能。可以得出 MATH 受益于  ReST^?? 的多次迭代，无论是在 MATH 测试集上的性能还是迁移到 GSM8K 方面。另一方面可以看到 APPS 的大部分收益来自第一次迭代，而执行更多次迭代会导致 APPS 和 HumanEval 的性能下降。

训练和测试性能的差距。图 4 显示，虽然训练集性能随着 ReST^??迭代次数线性增加，但测试集性能却没有。对于 MATH，第一次迭代后测试性能改进很小，而对于 APPS，在第二次迭代中观察到性能回归。该研究猜测性能的回归可能是由于过度拟合造成的。由于 APPS 数据集的大小约为 MATH 数据集的三分之一，因此它更容易受到此问题的影响。

图 5 显示了 Palm-2-L 模型在 pass@K 指标上的性能。结果显示，微调后获得的 ReST^?? 模型对于所有 K 值都更强，其中性能差距通常在 K=1 时最大。

以上是大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好的详细内容。更多信息请关注PHP中文网其他相关文章！