


Ein einzelnes 4090 ableitbares, 200 Milliarden spärlich großes Modell „Tiangong MoE' ist Open Source
In der Welle großer Modelle stellt das Training und der Einsatz hochmoderner LLMs mit dichter Menge große Herausforderungen hinsichtlich des Rechenaufwands und der damit verbundenen Kosten dar, insbesondere bei Skalen von mehreren zehn oder hundert Milliarden Parametern. Um diesen Herausforderungen zu begegnen, werden dünnbesetzte Modelle wie Mixture of Experts (MoE)-Modelle immer wichtiger. Diese Modelle bieten eine wirtschaftlich sinnvolle Alternative, indem sie die Berechnung auf verschiedene spezialisierte Untermodelle oder „Experten“ verteilen und das Potenzial haben, die Leistung von Modellen mit dichter Menge zu erreichen oder sogar zu übertreffen, und das bei sehr geringem Ressourcenbedarf.
Am 3. Juni kam eine weitere wichtige Nachricht aus dem Bereich der Open-Source-Großmodelle: Kunlun Wanwei kündigte die Open Source des 200 Milliarden spärlichen Großmodells Skywork-MoE an, das die Inferenzkosten erheblich senkt und gleichzeitig eine starke Leistung beibehält.
Erweitert auf der Grundlage des vorherigen Open-Source-Modells Skywork-13B Intermediate Checkpoint von Kunlun Wanwei. Es ist das erste Open-Source-100-Milliarden-MoE-Großmodell, das die MoE-Upcycling-Technologie vollständig anwendet und implementiert ein einzelner 4090-Server. Hunderte Milliarden MoE-Großmodelle. Was in der großen Model-Community noch mehr Aufmerksamkeit erregt, ist die Tatsache, dass die Modellgewichte und technischen Berichte von Skywork-MoE vollständig Open Source und für die kommerzielle Nutzung kostenlos sind, ohne dass eine Anwendung erforderlich ist.- Download-Adresse für Modellgewichte:
- Modell eines Open-Source-Warehouses: https://github.com/SkyworkAI/Skywork-MoE
- Modell eines technischen Berichts: https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe - tech-report.pdf
- Modellinferenzcode: (unterstützt quantisierte 8-Bit-Lastinferenz auf 8x4090-Servern) https://github.com/SkyworkAI/vllm
Skywork-MoE Einführung
Dieses Open-Source-Skywork-MoE-Modell gehört zu Tiangong Die 3.0 R&D-Modellreihe ist das Mittelklassemodell (Skywork-MoE-Medium). Die Gesamtparametermenge des Modells beträgt 146B, die Aktivierungsparametermenge beträgt 22B und es gibt insgesamt 16 Experten , und 2 davon werden jedes Mal aktiviert. Es versteht sich, dass Tiangong 3.0 auch zwei MoE-Modelle trainiert hat, 75B (Skywork-MoE-Small) und 400B (Skywork-MoE-Large), die nicht in dieser Open Source enthalten sind. Kunlun Wanwei bewertete Skywork-MoE auf der Grundlage der aktuellen Bewertungslisten der wichtigsten Mainstream-Modelle. Bei der gleichen Aktivierungsparametermenge von 20B (Inferenzberechnungsmenge) liegen die Fähigkeiten von Skywork-MoE an der Spitze der Branche und liegen nahe bei 70B Dense Modell. Dadurch werden die Inferenzkosten des Modells um fast das Dreifache reduziert.Technische Innovation
Um die Probleme des schwierigen MoE-Modelltrainings und der schlechten Generalisierungsleistung zu lösen, hat Skywork-MoE zwei Trainingsoptimierungsalgorithmen entwickelt:Gating Logits-Normalisierungsoperation
Skywork-MoE in Gating A neu Der Normalisierungsvorgang wird zur Token-Verteilungslogik des Layers hinzugefügt, wodurch das Parameterlernen des Gating-Layers stärker auf die ausgewählten Top-2-Experten ausgerichtet wird und das Vertrauen des MoE-Modells für die Top-2 erhöht wird:Adaptiv Der Aux-Verlust
Training Infra
Die effiziente Durchführung groß angelegter verteilter Schulungen von MoE-Modellen ist eine schwierige Herausforderung. Skywork-MoE schlägt zwei wichtige parallele Optimierungsdesigns vor, um einen Trainingsdurchsatz von MFU von 38 % auf einem Kilokalorien-Cluster zu erreichen, wobei MFU die theoretische Rechenlast mit einem Aktivierungsparameter von 22B berechnet.Expertendatenparallel
Anders als die bestehenden EP- (Expert Parallel) und ETP- (Expert Tensor Parallel) Designs in der Megatron-LM-Community hat das Skywork-MoE-Team eine parallele Designlösung namens Expert Data Parallel vorgeschlagen. Diese parallele Lösung kann in Expert When verwendet werden Die Anzahl ist gering, das Modell kann dennoch effizient segmentiert werden und die von Expert eingeführte All-2-All-Kommunikation kann ebenfalls weitgehend optimiert und maskiert werden. Verglichen mit der Beschränkung der Anzahl der GPUs durch EP und der Ineffizienz von ETP bei Kilokarten-Clustern kann EDP die parallelen Schwachstellen groß angelegter verteilter Trainings-MoE besser lösen. Gleichzeitig ist das Design von EDP einfach, robust und leicht zu erweitern. und kann verglichen werden. Schnelle Implementierung und Überprüfung. E Eines der einfachsten EDP-Beispiele, TP = 2, EP = 2 im Fall von zwei Karten, bei denen der Aufmerksamkeitsteil Tensor Parallel und der Expertenteil Expert Parallel verwendet. Ungleichmäßiges Schneiden von Wasser parallel zu Wasser parallel Wasser
Aufgrund der Einbettungsberechnung der ersten Stufe und der Verlustberechnung der letzten Stufe sowie der Existenz des Pipeline-Puffers besteht ein offensichtliches Ungleichgewicht in der Rechenlast und der Videospeicherlast jeder Stufe, wenn die Die Schicht ist unter Pipeline-Parallelität gleichmäßig aufgeteilt. Das Skywork-MoE-Team schlug eine Methode zur ungleichmäßigen parallelen Pipeline-Segmentierung und Neuberechnungsschichtzuweisung vor, um die gesamte Rechen-/Grafikspeicherauslastung ausgewogener zu gestalten und den End-to-End-Trainingsdurchsatz um etwa 10 % zu verbessern.
Vergleichen Sie die Pipeline-Parallelblasen unter gleichmäßiger Segmentierung und ungleichmäßiger Segmentierung: Für ein 24-Schicht-LLM ist (a) gleichmäßig in 4 Stufen unterteilt, und die Anzahl der Schichten in jeder Stufe beträgt: [ 6 , 6, 6, 6]. (b) ist eine optimierte ungleichmäßige Aufteilungsmethode, die in 5 Stufen unterteilt ist: [5, 5, 5, 5, 4]. Die mittlere Stufe ist mit fließendem Wasser gefüllt, die ungleichmäßig verteilten Blasen liegen noch tiefer.
Darüber hinaus führte Skywork-MoE auch eine Reihe von Experimenten auf der Grundlage des Skalierungsgesetzes durch, um zu untersuchen, welche Einschränkungen sich auf die Leistung von Upcycling- und From Scratch-Trainings-MoE-Modellen auswirken.
Das obige ist der detaillierte Inhalt vonEin einzelnes 4090 ableitbares, 200 Milliarden spärlich großes Modell „Tiangong MoE' ist Open Source. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Hey da, codieren Ninja! Welche Codierungsaufgaben haben Sie für den Tag geplant? Bevor Sie weiter in diesen Blog eintauchen, möchte ich, dass Sie über all Ihre Coding-Leiden nachdenken-die Auflistung auflisten diese auf. Erledigt? - Lassen Sie ’

KI verstärken die Zubereitung der Lebensmittel KI -Systeme werden während der Nahten immer noch in der Zubereitung von Nahrungsmitteln eingesetzt. KI-gesteuerte Roboter werden in Küchen verwendet, um Aufgaben zur Zubereitung von Lebensmitteln zu automatisieren, z.

Einführung Das Verständnis der Namespaces, Scopes und des Verhaltens von Variablen in Python -Funktionen ist entscheidend, um effizient zu schreiben und Laufzeitfehler oder Ausnahmen zu vermeiden. In diesem Artikel werden wir uns mit verschiedenen ASP befassen

Einführung Stellen Sie sich vor, Sie gehen durch eine Kunstgalerie, umgeben von lebhaften Gemälden und Skulpturen. Was wäre, wenn Sie jedem Stück eine Frage stellen und eine sinnvolle Antwort erhalten könnten? Sie könnten fragen: „Welche Geschichte erzählst du?

In diesem Monat hat MediaTek in diesem Monat eine Reihe von Ankündigungen gemacht, darunter das neue Kompanio Ultra und die Abmessung 9400. Diese Produkte füllen die traditionelleren Teile von MediaTeks Geschäft aus, die Chips für Smartphone enthalten

#1 Google gestartet Agent2Agent Die Geschichte: Es ist Montagmorgen. Als mit KI betriebener Personalvermittler arbeiten Sie intelligenter, nicht härter. Sie melden sich im Dashboard Ihres Unternehmens auf Ihrem Telefon an. Es sagt Ihnen, dass drei kritische Rollen bezogen, überprüft und geplant wurden

Ich würde vermuten, dass du es sein musst. Wir alle scheinen zu wissen, dass Psychobabble aus verschiedenen Geschwätzern besteht, die verschiedene psychologische Terminologie mischen und oft entweder unverständlich oder völlig unsinnig sind. Alles was Sie tun müssen, um fo zu spucken

Laut einer neuen Studie, die diese Woche veröffentlicht wurde, wurden im Jahr 2022 nur 9,5% der im Jahr 2022 hergestellten Kunststoffe aus recycelten Materialien hergestellt. In der Zwischenzeit häufen sich Plastik weiter in Deponien - und Ökosystemen - um die Welt. Aber Hilfe ist unterwegs. Ein Team von Engin


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Dreamweaver Mac
Visuelle Webentwicklungstools

MinGW – Minimalistisches GNU für Windows
Dieses Projekt wird derzeit auf osdn.net/projects/mingw migriert. Sie können uns dort weiterhin folgen. MinGW: Eine native Windows-Portierung der GNU Compiler Collection (GCC), frei verteilbare Importbibliotheken und Header-Dateien zum Erstellen nativer Windows-Anwendungen, einschließlich Erweiterungen der MSVC-Laufzeit zur Unterstützung der C99-Funktionalität. Die gesamte MinGW-Software kann auf 64-Bit-Windows-Plattformen ausgeführt werden.

SAP NetWeaver Server-Adapter für Eclipse
Integrieren Sie Eclipse mit dem SAP NetWeaver-Anwendungsserver.

VSCode Windows 64-Bit-Download
Ein kostenloser und leistungsstarker IDE-Editor von Microsoft

PHPStorm Mac-Version
Das neueste (2018.2.1) professionelle, integrierte PHP-Entwicklungstool