ICML 2024 |. Aufdeckung des Mechanismus des nichtlinearen Transformer-Lernens und der Verallgemeinerung im kontextuellen Lernen

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail für die Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Der Autor dieses Artikels, Li Hongkang, ist Doktorand in der Abteilung für Elektrotechnik, Computer- und Systemtechnik am Rensselaer Polytechnic Institute in den Vereinigten Staaten Er schloss sein Studium an der Universität für Wissenschaft und Technologie Chinas mit einem Bachelor ab. Zu den Forschungsrichtungen gehören Deep-Learning-Theorie, Theorie großer Sprachmodelle, statistisches maschinelles Lernen usw. Er hat viele Artikel auf führenden KI-Konferenzen wie ICLR/ICML/Neurips veröffentlicht.

In-Context-Lernen (ICL) hat in vielen LLM-bezogenen Anwendungen leistungsstarke Fähigkeiten bewiesen, seine theoretische Analyse ist jedoch noch relativ begrenzt. Es wird immer noch versucht zu verstehen, warum LLM, das auf der Transformer-Architektur basiert, die Fähigkeiten von ICL aufweisen kann.

Kürzlich analysierte ein Team der Rensselaer Polytechnic University und IBM Research die ICL von Transformer mit nichtlinearem Aufmerksamkeitsmodul (Aufmerksamkeit) und mehrschichtigem Perzeptron (MLP) aus der Perspektive der Optimierungs- und Generalisierungstheoriefähigkeit. Insbesondere haben sie den ICL-Mechanismus theoretisch bewiesen, bei dem ein einschichtiger Transformer zunächst einige kontextbezogene Beispiele basierend auf der Abfrage in der Aufmerksamkeitsschicht auswählt und dann Vorhersagen basierend auf Etiketteneinbettungen in der MLP-Schicht trifft. Dieser Artikel wurde in ICML 2024 aufgenommen.

• Titel des Papiers: Wie lernen und verallgemeinern nichtlineare Transformatoren beim Lernen im Kontext?

In-Kontext-Lernen (ICL)

• Kontext-Lernen (ICL) ist ein neues Lernparadigma, das in großen Sprachmodellen (LLM) sehr beliebt ist. Es bezieht sich insbesondere auf das Hinzufügen von N Testbeispielen (Kontext) vor der Testabfrage (Testabfrage)
, d um das Modell zu leiten. Korrekte Schlussfolgerungen ziehen. Diese Methode unterscheidet sich von der klassischen Methode zur Feinabstimmung eines vorab trainierten Modells. Sie erfordert keine Änderung des Gewichtes des Modells und ist dadurch effizienter.

Fortschritte in der theoretischen ICL-Arbeit

Viele neuere theoretische Arbeiten basieren auf dem von [1] vorgeschlagenen Forschungsrahmen, das heißt, Menschen können das Eingabeaufforderungsformat direkt zum Trainieren des Transformators verwenden (dieser Schritt kann auch als Simulation verstanden werden). Ein vereinfachter LLM-Vortrainingsmodus, der dem Modell ICL-Fähigkeiten verleiht. Bestehende theoretische Arbeiten konzentrieren sich auf die Ausdruckskraft des Modells [2]. Sie fanden heraus, dass man einen Transformer mit „perfekten“ Parametern finden könnte, der ICL durch Vorwärtsoperationen durchführen und sogar implizit klassische Algorithmen für maschinelles Lernen wie den Gradientenabstieg ausführen könnte. Diese Arbeiten können jedoch nicht beantworten, warum Transformer mit ICL-Funktionen auf solch „perfekte“ Parameter trainiert werden kann. Daher gibt es auch einige Arbeiten, die versuchen, den ICL-Mechanismus aus der Perspektive des Trainings oder der Verallgemeinerung von Transformer zu verstehen [3,4]. Aufgrund der Komplexität der Analyse der Transformer-Struktur beschränken sich diese Arbeiten jedoch derzeit auf die Untersuchung linearer Regressionsaufgaben, und die betrachteten Modelle lassen normalerweise den nichtlinearen Teil des Transformers weg. Dieser Artikel analysiert die ICL-Fähigkeiten und -Mechanismen von Transformer mit nichtlinearer Aufmerksamkeit und MLP aus der Perspektive der Optimierungs- und Generalisierungstheorie:

Basierend auf einem vereinfachten Klassifizierungsmodell quantifiziert dieser Artikel speziell, wie sich die Eigenschaften der Daten auf ein The auswirken In-Domain- und Out-of-Domain-ICL-Generalisierungsfunktionen (OOD) des Layer-Single-Head-Transformers.

In diesem Artikel wird weiter erläutert, wie ICL durch trainierten Transformer implementiert wird.

Basierend auf den Eigenschaften des trainierten Transformers analysiert dieser Artikel auch die Machbarkeit der Verwendung einer größenbasierten Modellbereinigung während der ICL-Inferenz.

Theoretischer Teil

Problembeschreibung

Dieser Artikel befasst sich mit einem binären Klassifizierungsproblem, d. h. der Zuordnung von zu durch eine Aufgabe . Um ein solches Problem zu lösen, wird in diesem Artikel eine Lernaufforderung erstellt. Die Eingabeaufforderung wird hier wie folgt dargestellt:

Training des Netzwerks als einschichtiger Single-Head-Transformator:

Der Vortrainingsprozess besteht darin, eine empirische Risikominimierung für alle Trainingsaufgaben zu lösen. Die Verlustfunktion verwendet Scharnierverlust, der für binäre Klassifizierungsprobleme geeignet ist, und der Trainingsalgorithmus ist ein stochastischer Gradientenabstieg.

Dieser Artikel definiert zwei Fälle der ICL-Generalisierung. Eine davon ist domänenintern, das heißt, die Verteilung der Testdaten ist dieselbe wie die der Trainingsdaten während der Generalisierung. Beachten Sie, dass in diesem Fall die Testaufgabe nicht mit der Trainingsaufgabe identisch sein muss, d. h Hier wurde die Verallgemeinerung unsichtbarer Aufgaben berücksichtigt. Der andere ist außerhalb der Domäne, das heißt, die Verteilung von Test- und Trainingsdaten ist unterschiedlich.

Dieser Artikel befasst sich auch mit der Analyse der größenbasierten Beschneidung während der ICL-Inferenz. Die Beschneidungsmethode bezieht sich hier auf das Löschen jedes durch Training erhaltenen Neurons entsprechend seiner Amplitude.

Konstruktion von Daten und Aufgaben

Bitte beachten Sie für diesen Teil Abschnitt 3.2 des Originaltextes. Die theoretische Analyse dieses Artikels basiert auf dem in letzter Zeit beliebten Feature-Learning-Weg, das heißt, die Daten werden normalerweise als trennbare (normalerweise orthogonale) Muster angenommen, wodurch Gradientenänderungen basierend auf unterschiedlichen Mustern abgeleitet werden. In diesem Artikel werden zunächst eine Reihe domänenrelevanter (IDR) Muster zur Bestimmung der Klassifizierung domäneninterner Aufgaben und eine Reihe aufgabenunabhängiger domänenirrelevanter (IDI) Muster definiert. Diese Muster sind jeweils orthogonal andere. Es gibt IDR-Muster und IDI-Muster. Ein wird als Summe eines IDR-Musters und eines IDI-Musters dargestellt. Eine domäneninterne Aufgabe wird als Klassifizierungsproblem definiert, das auf zwei IDR-Mustern basiert.

In ähnlicher Weise kann dieser Artikel die Daten und Aufgaben beschreiben, wenn OOD verallgemeinert wird, indem ein Muster außerhalb der Domäne (ODR) und ein Muster außerhalb der Domäne (ODI) definiert wird.

Die Darstellung der Eingabeaufforderung in diesem Artikel kann anhand des Beispiels in der folgenden Abbildung erklärt werden, wobei das IDR-Muster und das IDI-Muster ist. Die hier durchgeführte Aufgabe besteht darin, basierend auf in x zu klassifizieren. Wenn es ist, ist seine Bezeichnung + 1, was +q entspricht. Wenn es ist, ist seine Bezeichnung - 1, was -q entspricht. α, α' werden als Kontextbeispiele in den Trainings- und Testaufforderungen definiert, die jeweils mit dem IDR/ODR-Muster der Abfrage übereinstimmen. Im Beispiel unten, .

Theoretische Ergebnisse

Zunächst gibt dieser Artikel für die In-Domain-Situation zunächst eine Bedingung 3.2 an, um die Bedingungen festzulegen, die die Trainingsaufgabe erfüllen muss, d. h. die Trainingsaufgabe muss alle IDR-Muster abdecken und Etiketten. Dann lauten die domäneninternen Ergebnisse wie folgt:

Dies zeigt: 1. Die Anzahl der Trainingsaufgaben muss nur einen kleinen Teil aller Aufgaben ausmachen, die Bedingung 3.2 erfüllen, und wir können eine gute Verallgemeinerung unsichtbarer Aufgaben erreichen 2. Je höher der Anteil der IDR-Muster im Zusammenhang mit der aktuellen Aufgabe in der Eingabeaufforderung ist, desto besser kann die ideale Verallgemeinerung mit weniger Trainingsdaten, einer Anzahl von Trainingsiterationen und kürzeren Trainings-/Testaufforderungen erreicht werden.

Als nächstes kommt das Ergebnis der Verallgemeinerung außerhalb der Domäne.

Hier wird erklärt, dass die OOD ICL-Verallgemeinerung zu diesem Zeitpunkt den idealen Effekt erzielen kann, wenn das ODR-Muster eine lineare Kombination des IDR-Musters ist und die Koeffizientensumme größer als 1 ist. Dieses Ergebnis liefert die intrinsische Verbindung zwischen Trainings- und Testdaten, die für eine gute OOD-Generalisierung im Rahmen von ICL erforderlich ist. Dieser Satz wurde auch durch Experimente mit GPT-2 bestätigt. Wie in der folgenden Abbildung dargestellt, kann die OOD-Klassifizierung ideale Ergebnisse erzielen, wenn die Koeffizientensumme in (12) größer als 1 ist. Gleichzeitig ist die erforderliche Kontextlänge kleiner, wenn , d. h. wenn der Anteil der ODR/IDR-Muster im Zusammenhang mit Klassifizierungsaufgaben in der Eingabeaufforderung höher ist.

Dann liefert dieser Artikel die ICL-Generalisierungsergebnisse mit größenbasierter Beschneidung.

Dieses Ergebnis zeigt, dass zunächst einmal einige (konstante Anteile) Neuronen im trainierten kleine Amplituden aufweisen, während die übrigen relativ groß sind (Gleichung 14). Wenn wir nur kleine Neuronen beschneiden, hat dies grundsätzlich keinen Einfluss auf die Generalisierungsergebnisse. Wenn der Anteil der Beschneidung auf die Beschneidung großer Neuronen zunimmt, nimmt der Generalisierungsfehler erheblich zu (Formel 15, 16). Das folgende Experiment bestätigt Satz 3.7. Die hellblaue vertikale Linie in Abbildung A unten stellt das durch Training erhaltene dar und stellt die Ergebnisse der Formel 14 dar. Das Beschneiden kleiner Neuronen wird die Generalisierung jedoch nicht verschlechtern. Dieses Ergebnis steht im Einklang mit der Theorie. Abbildung B zeigt, dass wir ein größeres Bereinigungsverhältnis zulassen können, um die gleiche Generalisierungsleistung zu erzielen, wenn die Eingabeaufforderung mehr aufgabenbezogenen Kontext enthält.

ICL-Mechanismus

Durch die Charakterisierung des Prozesses vor dem Training erhält dieser Artikel den internen Mechanismus des einschichtigen nichtlinearen Einzelkopf-Transformators für ICL, der in Abschnitt 4 des Originalartikels enthalten ist. Dieser Vorgang kann durch das folgende Diagramm dargestellt werden.

Kurz gesagt: Die Aufmerksamkeitsschicht wählt denselben Kontext wie das ODR/IDR-Muster der Abfrage aus und weist ihnen fast alle Aufmerksamkeitsgewichte zu. Anschließend konzentriert sich die MLP-Schicht auf die endgültige Klassifizierung basierend auf der Etiketteneinbettung in der Aufmerksamkeitsebenenausgabe.

Zusammenfassung

Dieser Artikel erläutert den Trainingsmechanismus des nichtlinearen Transformators in ICL sowie seine Verallgemeinerungsfähigkeit auf neue Aufgaben und Verteilungsverschiebungsdaten. Die theoretischen Ergebnisse haben eine gewisse praktische Bedeutung für den Entwurf eines Prompt-Selection-Algorithmus und eines LLM-Bereinigungsalgorithmus.

^参考文献

^{[1] Garg, et al., Neurips 2022. „Was können Transformatoren im Kontext lernen? Eine Fallstudie einfacher Funktionsklassen.“}

^{[2] Von Oswald et al., ICML 2023. „Transformer lernen im Kontext durch Gradientenabstieg.“}

^{[3] Zhang et al., JMLR 2024. „Geschulte Transformatoren lernen lineare Modelle im Kontext.“}

^{[4] Huang et al., ICML 2024. „In-context convergence of transformators.“}

Das obige ist der detaillierte Inhalt vonICML 2024 |. Aufdeckung des Mechanismus des nichtlinearen Transformer-Lernens und der Verallgemeinerung im kontextuellen Lernen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!