Ein einzelnes 4090 ableitbares, 200 Milliarden spärlich großes Modell „Tiangong MoE' ist Open Source

In der Welle großer Modelle stellt das Training und der Einsatz hochmoderner LLMs mit dichter Menge große Herausforderungen hinsichtlich des Rechenaufwands und der damit verbundenen Kosten dar, insbesondere bei Skalen von mehreren zehn oder hundert Milliarden Parametern. Um diesen Herausforderungen zu begegnen, werden dünnbesetzte Modelle wie Mixture of Experts (MoE)-Modelle immer wichtiger. Diese Modelle bieten eine wirtschaftlich sinnvolle Alternative, indem sie die Berechnung auf verschiedene spezialisierte Untermodelle oder „Experten“ verteilen und das Potenzial haben, die Leistung von Modellen mit dichter Menge zu erreichen oder sogar zu übertreffen, und das bei sehr geringem Ressourcenbedarf.

Am 3. Juni kam eine weitere wichtige Nachricht aus dem Bereich der Open-Source-Großmodelle: Kunlun Wanwei kündigte die Open Source des 200 Milliarden spärlichen Großmodells Skywork-MoE an, das die Inferenzkosten erheblich senkt und gleichzeitig eine starke Leistung beibehält.

Erweitert auf der Grundlage des vorherigen Open-Source-Modells Skywork-13B Intermediate Checkpoint von Kunlun Wanwei. Es ist das erste Open-Source-100-Milliarden-MoE-Großmodell, das die MoE-Upcycling-Technologie vollständig anwendet und implementiert ein einzelner 4090-Server. Hunderte Milliarden MoE-Großmodelle.

Was in der großen Model-Community noch mehr Aufmerksamkeit erregt, ist die Tatsache, dass die Modellgewichte und technischen Berichte von Skywork-MoE vollständig Open Source und für die kommerzielle Nutzung kostenlos sind, ohne dass eine Anwendung erforderlich ist.

• Download-Adresse für Modellgewichte:

￮ https://huggingface.co/Skywork/Skywork-MoE-base

￮ https://huggingface.co/Skywork/Skywork-MoE-Base-FP8

• Modell eines Open-Source-Warehouses: https://github.com/SkyworkAI/Skywork-MoE

• Modell eines technischen Berichts: https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe - tech-report.pdf

• Modellinferenzcode: (unterstützt quantisierte 8-Bit-Lastinferenz auf 8x4090-Servern) https://github.com/SkyworkAI/vllm

Skywork-MoE kann derzeit auf Folgendes schließen 8x4090-Server Das größte Open-Source-MoE-Modell. Der 8x4090-Server verfügt über insgesamt 192 GB GPU-Speicher (Gewicht belegt 146 GB) und kann mithilfe der vom Kunlun Wanwei-Team entwickelten ungleichmäßigen Tensor-Parallel-Parallel-Argumentation innerhalb eines geeigneten Zeitraums 2200 Token/s erreichen Chargengröße.

Den vollständigen zugehörigen Inferenz-Framework-Code und die Installationsumgebung finden Sie unter: https://github.com/SkyworkAI/Skywork-MoE

Skywork-MoE Einführung

Dieses Open-Source-Skywork-MoE-Modell gehört zu Tiangong Die 3.0 R&D-Modellreihe ist das Mittelklassemodell (Skywork-MoE-Medium). Die Gesamtparametermenge des Modells beträgt 146B, die Aktivierungsparametermenge beträgt 22B und es gibt insgesamt 16 Experten , und 2 davon werden jedes Mal aktiviert.

Es versteht sich, dass Tiangong 3.0 auch zwei MoE-Modelle trainiert hat, 75B (Skywork-MoE-Small) und 400B (Skywork-MoE-Large), die nicht in dieser Open Source enthalten sind.

Kunlun Wanwei bewertete Skywork-MoE auf der Grundlage der aktuellen Bewertungslisten der wichtigsten Mainstream-Modelle. Bei der gleichen Aktivierungsparametermenge von 20B (Inferenzberechnungsmenge) liegen die Fähigkeiten von Skywork-MoE an der Spitze der Branche und liegen nahe bei 70B Dense Modell. Dadurch werden die Inferenzkosten des Modells um fast das Dreifache reduziert.

Es ist erwähnenswert, dass die Gesamtparametergröße von Skywork-MoE 1/3 kleiner ist als die von DeepSeekV2, wodurch ähnliche Funktionen mit einer kleineren Parametergröße erreicht werden.

Technische Innovation

Um die Probleme des schwierigen MoE-Modelltrainings und der schlechten Generalisierungsleistung zu lösen, hat Skywork-MoE zwei Trainingsoptimierungsalgorithmen entwickelt:

Gating Logits-Normalisierungsoperation

Skywork-MoE in Gating A neu Der Normalisierungsvorgang wird zur Token-Verteilungslogik des Layers hinzugefügt, wodurch das Parameterlernen des Gating-Layers stärker auf die ausgewählten Top-2-Experten ausgerichtet wird und das Vertrauen des MoE-Modells für die Top-2 erhöht wird:

Adaptiv Der Aux-Verlust

unterscheidet sich vom herkömmlichen Aux-Verlust mit festen Koeffizienten (feste Hyperparameter). Skywork-MoE ermöglicht es dem Modell, in verschiedenen Phasen des MoE-Trainings geeignete Aux-Verlust-Hyperparameterkoeffizienten adaptiv auszuwählen, wodurch die Drop-Token-Rate innerhalb der Grenzen gehalten wird Durch geeignete Intervalle kann die Expertenverteilung ausgeglichen und das Expertenlernen differenziert werden, wodurch die Gesamtleistung und der Generalisierungsgrad des Modells verbessert werden. In der frühen Phase des MoE-Trainings ist die Drop-Token-Rate zu hoch (der Token-Verteilungsunterschied ist zu groß). Zu diesem Zeitpunkt ist ein größerer Aux-Verlust erforderlich, um den Token-Lastausgleich zu unterstützen In der Phase der MoE-Schulung hofft das Skywork-MoE-Team, dass ein gewisses Maß an Differenzierung zwischen den Experten weiterhin gewährleistet ist, um Gatings Tendenz zur zufälligen Verteilung von Token zu vermeiden. Daher ist ein geringerer Aux-Verlust erforderlich, um die Korrektur zu reduzieren.

Training Infra

Die effiziente Durchführung groß angelegter verteilter Schulungen von MoE-Modellen ist eine schwierige Herausforderung. Skywork-MoE schlägt zwei wichtige parallele Optimierungsdesigns vor, um einen Trainingsdurchsatz von MFU von 38 % auf einem Kilokalorien-Cluster zu erreichen, wobei MFU die theoretische Rechenlast mit einem Aktivierungsparameter von 22B berechnet.

Expertendatenparallel

Anders als die bestehenden EP- (Expert Parallel) und ETP- (Expert Tensor Parallel) Designs in der Megatron-LM-Community hat das Skywork-MoE-Team eine parallele Designlösung namens Expert Data Parallel vorgeschlagen. Diese parallele Lösung kann in Expert When verwendet werden Die Anzahl ist gering, das Modell kann dennoch effizient segmentiert werden und die von Expert eingeführte All-2-All-Kommunikation kann ebenfalls weitgehend optimiert und maskiert werden. Verglichen mit der Beschränkung der Anzahl der GPUs durch EP und der Ineffizienz von ETP bei Kilokarten-Clustern kann EDP die parallelen Schwachstellen groß angelegter verteilter Trainings-MoE besser lösen. Gleichzeitig ist das Design von EDP einfach, robust und leicht zu erweitern. und kann verglichen werden. Schnelle Implementierung und Überprüfung. E Eines der einfachsten EDP-Beispiele, TP = 2, EP = 2 im Fall von zwei Karten, bei denen der Aufmerksamkeitsteil Tensor Parallel und der Expertenteil Expert Parallel verwendet. Ungleichmäßiges Schneiden von Wasser parallel zu Wasser parallel Wasser

Aufgrund der Einbettungsberechnung der ersten Stufe und der Verlustberechnung der letzten Stufe sowie der Existenz des Pipeline-Puffers besteht ein offensichtliches Ungleichgewicht in der Rechenlast und der Videospeicherlast jeder Stufe, wenn die Die Schicht ist unter Pipeline-Parallelität gleichmäßig aufgeteilt. Das Skywork-MoE-Team schlug eine Methode zur ungleichmäßigen parallelen Pipeline-Segmentierung und Neuberechnungsschichtzuweisung vor, um die gesamte Rechen-/Grafikspeicherauslastung ausgewogener zu gestalten und den End-to-End-Trainingsdurchsatz um etwa 10 % zu verbessern.

Vergleichen Sie die Pipeline-Parallelblasen unter gleichmäßiger Segmentierung und ungleichmäßiger Segmentierung: Für ein 24-Schicht-LLM ist (a) gleichmäßig in 4 Stufen unterteilt, und die Anzahl der Schichten in jeder Stufe beträgt: [ 6 , 6, 6, 6]. (b) ist eine optimierte ungleichmäßige Aufteilungsmethode, die in 5 Stufen unterteilt ist: [5, 5, 5, 5, 4]. Die mittlere Stufe ist mit fließendem Wasser gefüllt, die ungleichmäßig verteilten Blasen liegen noch tiefer.

Darüber hinaus führte Skywork-MoE auch eine Reihe von Experimenten auf der Grundlage des Skalierungsgesetzes durch, um zu untersuchen, welche Einschränkungen sich auf die Leistung von Upcycling- und From Scratch-Trainings-MoE-Modellen auswirken.

Eine Faustregel, die befolgt werden kann, lautet: Wenn die FLOPs beim Training des MoE-Modells mehr als doppelt so hoch sind wie beim Training des Dense-Modells, ist es besser, sich für das Training von MoE von Scratch zu entscheiden. Wenn Sie sich für die Schulung von MoE entscheiden, können Sie die Schulungskosten erheblich senken.

Das obige ist der detaillierte Inhalt vonEin einzelnes 4090 ableitbares, 200 Milliarden spärlich großes Modell „Tiangong MoE' ist Open Source. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!