Warum funktioniert das von GPT gesteuerte In-Context Learning? Das Modell führt im Geheimen einen Gradientenabstieg durch

Nach BERT haben Forscher das Potenzial groß angelegter Pre-Training-Modelle erkannt und verschiedene Pre-Training-Aufgaben, Modellarchitekturen, Trainingsstrategien usw. vorgeschlagen. Modelle vom Typ BERT weisen jedoch normalerweise zwei große Mängel auf: Der eine ist die übermäßige Abhängigkeit von beschrifteten Daten, der andere die übermäßige Anpassung.

Insbesondere verfügen aktuelle Sprachmodelle in der Regel über ein zweistufiges Framework, nämlich Vortraining + Feinabstimmung der nachgelagerten Aufgabe, jedoch während des Feinabstimmungsprozesses Für nachgelagerte Aufgaben ist eine große Anzahl von Proben erforderlich, andernfalls ist der Effekt gering, aber die Kosten für die Kennzeichnung von Daten sind hoch. Es gibt auch nur begrenzte beschriftete Daten, und das Modell kann nur an die Trainingsdatenverteilung angepasst werden. Wenn jedoch weniger Daten vorhanden sind, kann es leicht zu einer Überanpassung kommen, die die Generalisierungsfähigkeit des Modells verringert.

Als Pionier großer Modelle haben groß angelegte vorab trainierte Sprachmodelle, insbesondere GPT-3, überraschende ICL-Fähigkeiten (In-Context Learning) gezeigt. Im Gegensatz zur Feinabstimmung, die zusätzliche Parameteraktualisierungen erfordert, sind für ICL nur wenige Demonstrations-„Eingabe-Label“-Paare erforderlich, und das Modell kann Labels sogar für unsichtbare Eingabelabels vorhersagen. Bei vielen nachgelagerten Aufgaben kann ein großes GPT-Modell eine recht gute Leistung erzielen und sogar einige kleine Modelle mit überwachter Feinabstimmung übertreffen.

Warum ICL so gut abschneidet? In einem mehr als 70-seitigen Artikel „Language Models are Few-Shot Learners“ von OpenAI untersuchten sie ICL-Erkundungen, die mit dem durchgeführt wurden Ziel ist es, GPT-3 zu ermöglichen, weniger Domänendaten zu verwenden und Probleme ohne Feinabstimmung zu lösen.

Wie in der Abbildung unten gezeigt, enthält ICL drei Kategorien: Few-Shot-Lernen, das die Eingabe mehrerer Beispiele und einer Aufgabenbeschreibung ermöglicht; Hier können Sie nur ein Beispiel und eine Aufgabenbeschreibung eingeben. Beim Zero-Shot-Learning können Sie keine Beispiele eingeben, sondern nur eine Aufgabenbeschreibung. Die Ergebnisse zeigen, dass ICL keine Backpropagation erfordert und nur eine kleine Anzahl beschrifteter Proben in den Kontext des Eingabetextes stellen muss, um GPT-3 zur Ausgabe von Antworten zu veranlassen.

# 🎜 🎜#GPT-3-Kontextlernen

Das Experiment beweist, dass GPT-3 unter Few-shot sehr gut abschneidet:# 🎜 🎜#

Warum kann GPT im Kontext lernen?

Obwohl ICL große Leistungserfolge erzielt hat, ist sein Wirkmechanismus immer noch ein offenes Problem, das untersucht werden muss. Um besser zu verstehen, wie ICL funktioniert, stellen wir als Nächstes vor, wie eine Studie der Peking-Universität, der Tsinghua-Universität und anderer Institutionen dies erklärt.

• Papieradresse: https://arxiv.org/pdf/2212.10559 v2.pdf
• Projektadresse: https://github.com/microsoft/LMOps# 🎜🎜#
Um es mit den Worten eines Internetnutzers zusammenzufassen: „Diese Arbeit zeigt, dass GPT auf natürliche Weise lernt, interne Optimierungen zu nutzen, um bestimmte Läufe durchzuführen. Die Forschung liefert auch empirische Beweise.“ Um zu zeigen, dass In-Context Learning und explizite Feinabstimmung auf mehreren Ebenen ähnlich funktionieren, wird diese Studie das Sprachmodell als Meta-Optimierer und ICL als Meta-Optimierungsprozess interpretieren Unter ICL versteht man eine implizite Feinabstimmung, bei der versucht wird, eine Verbindung zwischen GPT-basierter ICL und Feinabstimmung herzustellen. Theoretisch ergab die Studie, dass die Aufmerksamkeit von Transformer eine Form der doppelten Optimierung aufweist, die auf dem Gradientenabstieg basiert.

Darauf aufbauend schlägt die Studie eine neue Perspektive zur Erklärung von ICL vor: GPT generiert zunächst Metagradienten basierend auf Demonstrationsbeispielen und wendet diese Metagradienten dann auf die an Original-GPT zum Erstellen von ICL-Modellen.

Wie in Abbildung 1 dargestellt, teilen sich ICL und explizite Feinabstimmung eine duale Optimierungsform, die auf dem Gradientenabstieg basiert. Der einzige Unterschied besteht darin, dass ICL Metagradienten durch Vorwärtsberechnung erzeugt, während die Feinabstimmung Gradienten durch Rückwärtsausbreitung berechnet. Daher ist es sinnvoll, ICL als eine Art implizite Feinabstimmung zu verstehen.

ICR führt eine implizite Feinabstimmung durch

Diese Studie analysierte zunächst qualitativ die Transformer-Aufmerksamkeit in Form einer entspannten linearen Aufmerksamkeit, um ihren Unterschied mit der auf dem Gradientenabstieg basierenden Optimierung herauszufinden . Anschließend vergleicht die Studie ICL mit expliziter Feinabstimmung und stellt einen Zusammenhang zwischen diesen beiden Optimierungsformen her. Basierend auf diesen theoretischen Erkenntnissen schlagen sie vor, ICL als implizite Feinabstimmung zu verstehen.

Zuallererst betrachtet diese Studie die Aufmerksamkeit von Transforme als Metaoptimierung und interpretiert ICL als Metaoptimierungsprozess: (1) ein vorab trainiertes Sprachmodell, das auf Transformer als Metaoptimierer basiert (2) bis vorwärts Berechnung basierend auf Instanzen. Generieren Sie Metagradienten. (3) Wenden Sie Metagradienten auf das ursprüngliche Sprachmodell an, um ICL zu erstellen.

Als nächstes folgt der Vergleich von ICL und Feinabstimmung. In einer Reihe von Umgebungen ergab die Studie, dass ICLs bei Feinabstimmung viele Eigenschaften gemeinsam haben. Sie organisieren diese Gemeinsamkeiten anhand der folgenden vier Aspekte: Beide führen die gleichen Trainingsinformationen durch und beide drehen sich um die Aufmerksamkeit.

Angesichts all dieser gemeinsamen Eigenschaften zwischen ICL und Feinabstimmung ist diese Studie der Ansicht, dass es vernünftig ist, ICL als implizite Feinabstimmung zu verstehen. Im weiteren Verlauf dieses Artikels vergleicht die Studie ICL und Feinabstimmung unter verschiedenen Gesichtspunkten empirisch, um quantitative Ergebnisse zu liefern, die dieses Verständnis unterstützen.

Experimentelle Ergebnisse

Diese Studie führte eine Reihe von Experimenten durch, um das Verhalten von ICL und expliziter Feinabstimmung anhand realer Aufgaben umfassend zu vergleichen. Sie verglichen vorab trainierte GPT in ICL- und Feinabstimmungseinstellungen in Bezug auf Vorhersagefälle, Aufmerksamkeitsleistung und Aufmerksamkeitswerte. Wie erwartet ist ICL in Bezug auf Vorhersage, Darstellung und Aufmerksamkeitsniveau der expliziten Feinabstimmung sehr ähnlich. Diese Ergebnisse stützen diese Plausibilität stark: ICL führt eine implizite Feinabstimmung durch.

Darüber hinaus wurde in dieser Studie, inspiriert vom Verständnis der Metaoptimierung, eine impulsbasierte Aufmerksamkeit in Analogie zum impulsbasierten Gradientenabstiegsalgorithmus entwickelt. Es übertrifft durchweg die Leistung von Vanilla Attention.

Tabelle 2 zeigt die Validierungsgenauigkeit in ZSL (Zero-Shot Learning), ICL und Fine-Tuning (FT)-Einstellungen für sechs Klassifizierungsdatensätze. Sowohl ICL als auch Fine-Tuning erzielen im Vergleich zu ZSL erhebliche Verbesserungen, sodass die vorgenommenen Optimierungen diese nachgelagerten Aufgaben unterstützen. Darüber hinaus ergab die Studie, dass ICL in Szenarien mit wenigen Schüssen eine bessere Leistung erbrachte als die Feinabstimmung.

Die Rec2FTP-Scores von 2 GPT-Modellen für 6 Datensätze sind in Tabelle 3 aufgeführt. Im Durchschnitt kann ICL 87,64 % der Beispiele von ZSL korrekt vorhersagen, die durch Feinabstimmung korrigiert werden können. Diese Ergebnisse zeigen, dass ICL auf der Vorhersageebene die meisten korrekten Feinabstimmungsverhaltensweisen abdecken kann.

Tabelle 3 zeigt auch die durchschnittlichen SimAOU-Werte von Beispielen und Ebenen für 2 GPT-Modelle in 6 Datensätzen. Zum Vergleich stellt die Studie auch eine Basismetrik (Random SimAOU) bereit, die die Ähnlichkeit zwischen ICL-Updates und zufällig generierten Updates berechnet. Wie aus der Tabelle hervorgeht, ähneln ICL-Aktualisierungen eher fein abgestimmten Aktualisierungen als zufälligen Aktualisierungen, was bedeutet, dass ICL auf der Darstellungsebene dazu neigt, Aufmerksamkeitsergebnisse in Richtung fein abgestimmter Änderungen zu ändern.

Abschließend zeigt Tabelle 3 auch die durchschnittlichen SimAM-Werte für Beispiele und Schichten von 2 GPT-Modellen auf 6 Datensätzen. Als Basismetrik für SimAM berechnet ZSL SimAM die Ähnlichkeit zwischen ICL-Aufmerksamkeitsgewichten und ZSL-Aufmerksamkeitsgewichten. Durch den Vergleich der beiden Metriken ergab die Studie, dass ICL im Vergleich zu ZSL eher dazu neigt, Aufmerksamkeitsgewichtungen ähnlich der Feinabstimmung zu generieren. Auch auf der Ebene des Aufmerksamkeitsverhaltens zeigt diese Studie, dass sich ICL wie eine Feinabstimmung verhält.

Um die Ähnlichkeiten zwischen ICL und Feinabstimmung genauer zu untersuchen, wurden in dieser Studie die SimAOU- und SimAM-Scores verschiedener Schichten verglichen. Durch zufällige Auswahl von 50 Validierungsbeispielen aus jedem Datensatz wurden SimAOU- und SimAM-Boxplots erstellt, wie in Abbildung 2 bzw. Abbildung 3 unten dargestellt.

Aus der Abbildung geht hervor, dass SimAOU und SimAM bei niedrigeren Schichten schwanken und bei höheren Schichten tendenziell stabiler sind. Dieses Phänomen zeigt, dass die von ICL durchgeführte Metaoptimierung einen Vorwärtsakkumulationseffekt hat und dass sich ICL mit zunehmender Akkumulation eher wie eine Feinabstimmung höherer Schichten verhält.

Zusammenfassung

#🎜🎜 #Zusammenfassung Ziel dieses Artikels ist es insbesondere, den Funktionsmechanismus von ICL basierend auf GPT zu erläutern. Theoretisch untersucht diese Studie die duale Form von ICL und schlägt vor, ICL als Metaoptimierungsprozess zu verstehen. Darüber hinaus stellt diese Studie einen Zusammenhang zwischen ICL und spezifischen Feinabstimmungseinstellungen her und kommt zu dem Schluss, dass es sinnvoll ist, ICL als implizite Feinabstimmung zu betrachten. Um das Verständnis der impliziten Feinabstimmung durch ICL zu unterstützen, vergleicht diese Studie umfassend das Verhalten von ICL und der aufgabenbasierten Feinabstimmung in der Praxis. Es stellt sich heraus, dass ICL einer expliziten Feinabstimmung ähnelt.

Darüber hinaus entwarf die Studie, inspiriert von der Metaoptimierung, eine impulsbasierte Aufmerksamkeit, um konsistente Leistungsverbesserungen zu erzielen. Die Autoren hoffen, dass diese Studie mehr Menschen dabei helfen kann, Einblicke in ICL-Anwendungen und Modelldesign zu gewinnen.

Das obige ist der detaillierte Inhalt vonWarum funktioniert das von GPT gesteuerte In-Context Learning? Das Modell führt im Geheimen einen Gradientenabstieg durch. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!