​Aufmerksamkeitsmechanismus der neuen Generation Lightning Attention-2: unbegrenzte Sequenzlänge, konstanter Rechenleistungsaufwand, höhere Modellierungsgenauigkeit

Die aktuelle Anwendung großer Sprachmodelle ist durch die Sequenzlängenbeschränkung eingeschränkt, die ihre Anwendung im Bereich der künstlichen Intelligenz einschränkt. Beispielsweise gibt es bestimmte Herausforderungen beim Multi-Turn-Dialog, beim Verstehen langer Texte sowie bei der multimodalen Datenverarbeitung und -generierung. Der Hauptgrund für diese Einschränkung besteht darin, dass die in großen Sprachmodellen üblicherweise verwendete Transformer-Architektur derzeit eine quadratische Beziehung zwischen Rechenkomplexität und Sequenzlänge aufweist. Daher steigt mit zunehmender Sequenzlänge der Bedarf an Rechenressourcen exponentiell. Daher war die effiziente Verarbeitung langer Sequenzen schon immer eine der Herausforderungen großer Sprachmodelle.

Frühere Ansätze konzentrierten sich hauptsächlich auf die Anpassung großer Sprachmodelle an längere Sequenzen während der Inferenzphase. Ein Ansatz besteht darin, Alibi oder eine ähnliche relative Positionskodierung zu verwenden, um dem Modell die Anpassung an Eingabesequenzen unterschiedlicher Länge zu ermöglichen. Ein anderer Ansatz besteht darin, RoPE oder eine ähnliche relative Positionskodierung für Unterschiede zu verwenden und das bereits trainierte Modell kurz zu verfeinern, um die Sequenzlänge zu verlängern. Diese Methoden ermöglichen es großen Modellen, über bestimmte Funktionen zur Modellierung langer Sequenzen zu verfügen, der Aufwand für Training und Inferenz wurde jedoch nicht verringert.

Das OpenNLPLab-Team hat einen neuen linearen Aufmerksamkeitsmechanismus namens Lightning Attention-2 als Open-Source-Lösung bereitgestellt, der das Problem der langen Sequenz großer Sprachmodelle lösen soll. Dieser Mechanismus sorgt dafür, dass die Kosten für das Training und das Ableiten langer Sequenzen mit Sequenzlängen von 1K konsistent bleiben, was eine Set-and-Forget-Lösung ermöglicht. Eine Erhöhung der Sequenzlänge wirkt sich nicht negativ auf die Geschwindigkeit des Modelltrainings aus, selbst bevor Speicherengpässe auftreten, und ermöglicht so ein Vortraining mit unbegrenzter Länge. Darüber hinaus sind die Inferenzkosten sehr langer Texte im Vergleich zu 1K-Tokens konsistent oder sogar niedriger, wodurch die Inferenzkosten aktueller großer Sprachmodelle erheblich reduziert werden. Wie in der folgenden Abbildung gezeigt, beginnt bei einer Modellgröße von 400 M, 1B und 3B mit zunehmender Sequenzlänge die Trainingsgeschwindigkeit von LLaMA, die von FlashAttention2 unterstützt wird, schnell abzunehmen, während die Geschwindigkeit von TansNormerLLM, die von Lightning Attention-2 unterstützt wird, fast abnimmt Keine Änderung.

Figure 1

• paper: Lightning Achtung-2: Ein kostenloses Mittagessen zum Umgang mit unbegrenzten Sequenzlängen in Großsprachenmodellen
• Papieradresse: https: // arxiv.org/pdf/2401.04658.pdf
• Open-Source-Adresse: https://github.com/OpenNLPLab/lightning-attention

Lightning Attention-2 Einführung

Lass das Große Modell Die Geschwindigkeit vor dem Training über verschiedene Sequenzlängen hinweg konstant zu halten, klingt nach einer unmöglichen Aufgabe. Seit dem Aufkommen der linearen Aufmerksamkeit im Jahr 2020 arbeiten Forscher jedoch hart daran, die tatsächliche Effizienz der linearen Aufmerksamkeit mit ihrer theoretischen linearen Rechenkomplexität in Einklang zu bringen. Bis Mitte 2023 wird sich die Forschung zur linearen Aufmerksamkeit hauptsächlich auf die Genauigkeitsanpassung an die Transformer-Architektur konzentrieren. Schließlich ist er nach dem Aufkommen des verbesserten linearen Aufmerksamkeitsmechanismus hinsichtlich der Genauigkeit mit der hochmodernen Transformer-Architektur vergleichbar. Allerdings ist der kritischste Berechnungstrick der „Links-zu-Rechts-Multiplikation“ in der linearen Aufmerksamkeit viel langsamer als der direkte Linksmultiplikationsalgorithmus in der tatsächlichen Implementierung. Dies liegt daran, dass die Implementierung der rechten Multiplikation die Verwendung einer kumulativen Summierung (Cumsum) erfordert, die eine große Anzahl von Schleifenoperationen enthält, und eine große Anzahl von E/A-Operationen die rechte Multiplikation wesentlich weniger effizient macht als die linke Multiplikation. Daher besteht immer noch eine Herausforderung darin, die Geschwindigkeit vor dem Training großer Modelle über verschiedene Sequenzlängen hinweg konsistent zu halten. Forscher müssen die Implementierung der linearen Aufmerksamkeit weiter erforschen und verbessern, um ihre Recheneffizienz zu verbessern und I/O-Vorgänge zu reduzieren. Dies wird dazu beitragen, eine einheitliche Geschwindigkeit vor dem Training zu erreichen, um Aufgabenanforderungen unterschiedlicher Sequenzlängen besser bewältigen zu können.

Abbildung 2

Um die Idee von Lightning Attention-2 besser zu verstehen, schauen wir uns zunächst die Berechnungsformel der traditionellen Softmax-Aufmerksamkeit an: O=softmax ((QK^T)⊙ M_) V , wobei Q, K, V, M, O jeweils Abfrage, Schlüssel, Wert, Maske und Ausgabematrix sind. M ist hier eine untere dreieckige All-1-Matrix in Einwegaufgaben (wie GPT). -way-Aufgaben (wie Bert) können ignoriert werden, d. h. es gibt keine Maskenmatrix für bidirektionale Aufgaben.

Der Autor fasst die Gesamtidee von Lightning Attention-2 zur Erläuterung in die folgenden drei Punkte zusammen:

1. Eine der Kernideen von Linear Attention besteht darin, den rechenintensiven Softmax-Operator zu entfernen, sodass die Berechnungsformel von Attention als O=((QK^T)⊙M_) V geschrieben werden kann. Aufgrund der Existenz der Maskenmatrix M in der Einwegaufgabe kann diese Form jedoch immer noch nur Linksmultiplikationsberechnungen durchführen, sodass die Komplexität von O (N) nicht erhalten werden kann. Da es jedoch für bidirektionale Aufgaben keine Maskenmatrix gibt, kann die Berechnungsformel der linearen Aufmerksamkeit weiter auf O = (QK ^ T) V vereinfacht werden. Die Feinheit der linearen Aufmerksamkeit besteht darin, dass ihre Berechnungsformel durch einfache Verwendung des assoziativen Gesetzes der Matrixmultiplikation weiter umgewandelt werden kann in: O=Q (K^T V). Diese Berechnungsform wird als rechte Multiplikation bezeichnet, und die entsprechende erstere lautet links. Aus Abbildung 2 können wir intuitiv verstehen, dass lineare Aufmerksamkeit bei bidirektionalen Aufgaben eine attraktive O(N)-Komplexität erreichen kann!

2. Da das reine Decoder-GPT-Modell jedoch allmählich zum De-facto-Standard von LLM wird, ist die Verwendung der richtigen Multiplikationsfunktion von Linear Attention zur Beschleunigung von Einwegaufgaben zu einem dringenden Problem geworden, das gelöst werden muss. Um dieses Problem zu lösen, schlug der Autor dieses Artikels vor, die Idee des „Teilens und Eroberns“ zu verwenden, um die Berechnung der Aufmerksamkeitsmatrix in zwei Formen zu unterteilen: Diagonalmatrix und nichtdiagonale Matrix, und unterschiedliche zu verwenden Möglichkeiten, sie zu berechnen. Wie in Abbildung 3 dargestellt, verwendet Linear Attention-2 die im Computerbereich häufig verwendete Tiling-Idee, um die Q-, K- und V-Matrizen in die gleiche Anzahl von Blöcken zu unterteilen. Unter diesen behält die Berechnung des Blocks selbst (intra-block) aufgrund der Existenz der Maskenmatrix immer noch die Berechnungsmethode der linken Multiplikation mit einer Komplexität von O (N^2) bei, während die Berechnung des Blocks (inter-block) immer noch die Berechnungsmethode der linken Multiplikation beibehält. Block) keine Maskenmatrix hat, können Sie die richtige Multiplikationsberechnungsmethode verwenden, um die Komplexität von O (N) zu genießen. Nachdem beide separat berechnet wurden, können sie direkt addiert werden, um die lineare Aufmerksamkeitsausgabe Oi zu erhalten, die dem i-ten Block entspricht. Gleichzeitig wird der Zustand von KV durch Cumsum akkumuliert, um bei der Berechnung des nächsten Blocks verwendet zu werden. Auf diese Weise beträgt die Algorithmuskomplexität des gesamten Lightning Attention-2 O (N^2) für Intra-Block und O (N) für Inter-Block-Kompromiss. Wie ein besserer Kompromiss erzielt werden kann, hängt von der Blockgröße von Tiling ab.

3. Aufmerksame Leser werden feststellen, dass der obige Prozess nur der Algorithmusteil von Lightning Attention-2 ist. Der Grund für den Namen Lightning liegt darin, dass der Autor die Effizienz des Algorithmusprozesses im GPU-Hardware-Ausführungsprozess vollständig berücksichtigt hat . Inspiriert durch die FlashAttention-Arbeitsreihe hat der Autor bei der tatsächlichen Durchführung von Berechnungen auf der GPU die geteilten Q_i-, K_i- und V_i-Tensoren vom langsameren HBM mit größerer Kapazität innerhalb der GPU auf den schnelleren SRAM mit geringerer Kapazität verschoben System, wodurch ein großer Teil des Speicher-IO-Overheads reduziert wird. Nachdem der Block die Berechnung der linearen Aufmerksamkeit abgeschlossen hat, wird sein Ausgabeergebnis O_i zurück an HBM verschoben. Wiederholen Sie diesen Vorgang, bis alle Blöcke verarbeitet wurden.

Leser, die mehr Details erfahren möchten, können die Algorithmen 1 und 2 in diesem Artikel sowie den detaillierten Ableitungsprozess im Artikel sorgfältig lesen. Sowohl der Algorithmus als auch der Ableitungsprozess unterscheiden zwischen den Vorwärts- und Rückwärtsprozessen von Lightning Attention-2, was den Lesern zu einem tieferen Verständnis verhelfen kann.

Figure 3

Lightning Achtung-2-Genauigkeitsvergleich

Die Forscher verglichen zum ersten Mal Lightning Achtung-2 mit L auf einem Parametermodellblitz von kleinem Maßstab (400 m) Achtung -1 Genauigkeitsunterschied, wie in der folgenden Abbildung gezeigt, gibt es fast keinen Unterschied zwischen den beiden.

Dann verglichen die Forscher TransNormerLLM (TNL-LA2), das von Lightning Attention-2 unterstützt wird, mit anderen fortschrittlichen Nicht-Transformer-Architekturnetzwerken und LLaMA, das von FlashAttention2 auf 1B und 3B unter demselben Korpus unterstützt wird. Wie in der folgenden Abbildung dargestellt, behalten TNL-LA2 und LLaMA einen ähnlichen Trend bei und die Verlustleistung ist besser. Dieses Experiment zeigt, dass Lightning Attention-2 eine Genauigkeitsleistung aufweist, die der hochmodernen Transformer-Architektur bei der Sprachmodellierung nicht nachsteht.

In der Aufgabe zum großen Sprachmodell verglichen die Forscher die Ergebnisse von TNL-LA2 15B und Pythia anhand gemeinsamer Benchmarks für große Modelle ähnlicher Größe. Wie in der folgenden Tabelle gezeigt, ist TNL-LA2 unter der Bedingung, dass dieselben Token gegessen werden, etwas höher als das Pythia-Modell, basierend auf der Aufmerksamkeit von Softmax beim gesunden Menschenverstand und den umfassenden Multiple-Choice-Fähigkeiten.

Lightning Attention-2 Geschwindigkeitsvergleich

Die Forscher verglichen die Einzelmodulgeschwindigkeit und Speichernutzung von Lightning Attention-2 und FlashAttention2. Wie in der folgenden Abbildung dargestellt, zeigt Lightning Attention-2 im Vergleich zu Lightning Attention-1 und FlashAttention2 einen streng linearen Anstieg der Geschwindigkeit im Vergleich zur Sequenzlänge. Hinsichtlich der Speichernutzung zeigen alle drei ähnliche Trends, Lightning Attention-2 weist jedoch einen geringeren Speicherbedarf auf. Der Grund dafür ist, dass die Speichernutzung von FlashAttention2 und Lightning Attention-1 ebenfalls annähernd linear ist.

Der Autor stellte fest, dass der Schwerpunkt dieses Artikels darin liegt, die Trainingsgeschwindigkeit des linearen Aufmerksamkeitsnetzwerks zu lösen und für lange Sequenzen beliebiger Länge eine Trainingsgeschwindigkeit zu erreichen, die der von 1K-Sequenzen ähnelt. In Bezug auf die Inferenzgeschwindigkeit gibt es nicht viel Einführung. Dies liegt daran, dass die lineare Aufmerksamkeit während des Denkens verlustfrei in den RNN-Modus umgewandelt werden kann, wodurch ein ähnlicher Effekt erzielt wird, dh die Geschwindigkeit des Denkens für ein einzelnes Token ist konstant. Bei Transformer hängt die Inferenzgeschwindigkeit des aktuellen Tokens von der Anzahl der Token davor ab.

Der Autor testete den Vergleich der Inferenzgeschwindigkeit zwischen TransNormerLLM-7B, unterstützt von Lightning Attention-1, und dem gängigen 7B-Modell. Wie in der folgenden Abbildung dargestellt, beträgt die Durchsatzgeschwindigkeit von Lightning Attention-1 unter der ungefähren Parametergröße das Vierfache der von Baichuan und mehr als das 3,5-fache der von ChatGLM, was einen hervorragenden Vorteil bei der Inferenzgeschwindigkeit darstellt.

Zusammenfassung

Lightning Attention-2 stellt einen großen Fortschritt im linearen Aufmerksamkeitsmechanismus dar und macht es zu einem perfekten Ersatz für die traditionelle Softmax-Aufmerksamkeit in Bezug auf Genauigkeit und Geschwindigkeit und bietet eine Plattform für mehr und mehr Große Modelle ermöglichen eine nachhaltige Skalierung und bieten die Möglichkeit, unendlich lange Sequenzen effizienter zu verarbeiten. Das OpenNLPLab-Team wird in Zukunft sequentielle parallele Algorithmen basierend auf linearen Aufmerksamkeitsmechanismen untersuchen, um das derzeit auftretende Problem der Speicherbarriere zu lösen.

Das obige ist der detaillierte Inhalt von​Aufmerksamkeitsmechanismus der neuen Generation Lightning Attention-2: unbegrenzte Sequenzlänge, konstanter Rechenleistungsaufwand, höhere Modellierungsgenauigkeit. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!