Das stärkste Modell Llama 3.1 405B wird offiziell veröffentlicht, Zuckerberg: Open Source leitet eine neue Ära ein

Gerade jetzt wurde das lang erwartete Llama 3.1 offiziell veröffentlicht!

Meta hat offiziell die Stimme „Open Source führt eine neue Ära“ herausgegeben.

Im offiziellen Blog sagte Meta: „Bis heute sind große Open-Source-Sprachmodelle hinsichtlich Funktionalität und Leistung meist hinter geschlossenen Modellen zurückgeblieben. Jetzt läuten wir eine neue Ära ein, die von Open Source angeführt wird. Wir.“ Wir veröffentlichen Meta Llama 3.1 405B öffentlich. Wir glauben, dass dies das größte und leistungsstärkste Open-Source-Basismodell der Welt ist, mit bisher mehr als 300 Millionen Downloads aller Llama-Versionen, und wir fangen gerade erst an Der Gründer von Meta, CEO Zuckerberg, hat auch persönlich einen langen Artikel mit dem Titel „Open Source AI Is the Path Forward“ geschrieben, in dem er erklärt, warum Open Source eine gute Sache für alle Entwickler, Meta und die Welt ist.

Zu den Highlights dieser Version gehören:

Die neueste Modellserie erweitert die Kontextlänge auf 128 KB, bietet Unterstützung für acht Sprachen und enthält das Top-Open-Source-Modell Llama 3.1 405B;

• Llama 3.1 405B spielt in einer eigenen Liga und laut Meta ist es mit den besten Closed-Source-Modellen vergleichbar.
• Diese Version bietet außerdem weitere Komponenten (einschließlich Referenzsysteme), die mit dem Modell verwendet werden können, um Llama a zu erstellen Ein System;
• Benutzer können Llama 3.1 405B über WhatsApp und meta.ai erleben.
Adresse: https://llama.meta.com/

Sie können es herunterladen und ausprobieren.

Llama 3.1 Einführung

Llama 3.1 405B ist das erste öffentlich verfügbare Modell, das in Bezug auf gesunden Menschenverstand, Manipulierbarkeit, Mathematik, Werkzeugnutzung und mehrsprachige Übersetzung mit Top-KI-Modellen vergleichbar ist.

Meta sagt, dass die neueste Generation von Llama neue Anwendungen und Modellierungsparadigmen inspirieren wird, einschließlich der Nutzung synthetischer Datengenerierung zur Förderung und Schulung kleinerer Modelle sowie der Modelldestillation – ein Ansatz, der im Open-Source-Bereich noch nie zuvor gesehen wurde erreichen.

Gleichzeitig hat Meta auch aktualisierte Versionen der 8B- und 70B-Modelle auf den Markt gebracht, die mehrere Sprachen unterstützen, eine Kontextlänge von 128 KB und stärkere Argumentationsfunktionen bieten. Die neuesten Modelle unterstützen erweiterte Anwendungsfälle wie die Zusammenfassung von Langtexten, mehrsprachige Konversationsagenten und Codierungsassistenten.

? Kleidung Reicht es aus? „Das Modell kann schnell Rückschlüsse ziehen.“

Langer Kontext: Für hochgeladene Dokumente ist Llama 3.1 in der Lage, große Dokumente mit bis zu 8.000 Token zu analysieren und zusammenzufassen.

Codierungsassistent, für Benutzeranforderungen können Sie schnell Code schreiben:

Darüber hinaus hat der Entwickler von Llama 3.1 405B auch „Spoiler“ getwittert und erklärt, dass die Entwicklung eines Modells, das Sprach- und visuelle Funktionen wie GPT-4o integriert, noch in der Entwicklung sei.

Meta hat außerdem Änderungen an der Open-Source-Lizenz vorgenommen, um Entwicklern die Nutzung der Ausgabe von Llama-Modellen (einschließlich 405B) zur Verbesserung anderer Modelle zu ermöglichen. Darüber hinaus stellt Meta im Einklang mit seinem Open-Source-Engagement diese Modelle ab heute der Community zum Download unter llama.meta.com und Hugging Face zur Verfügung.

Download-Adresse:

• https://huggingface.co/meta-llama
• https://llama.meta.com/

Modellbewertung

Meta wird anhand von mehr als 150 Benchmark-Datensätzen ausgewertet, darüber hinaus führen sie auch umfangreiche menschliche Auswertungen durch.

Experimentelle Ergebnisse zeigen, dass das Flaggschiffmodell Llama 3.1 405B bei einer Reihe von Aufgaben mit führenden Basismodellen wie GPT-4, GPT-4o und Claude 3.5 Sonnet konkurrenzfähig ist. Darüber hinaus sind die kleinen Modelle 8B und 70B mit Closed-Source- und Open-Source-Modellen mit ähnlicher Parameteranzahl konkurrenzfähig.

Modellarchitektur

Als bisher größtes Modell von Meta ist das Training von Llama 3.1 405B mit mehr als 15 Billionen Token eine große Herausforderung. Um ein Training in diesem Maßstab zu ermöglichen, optimierte Meta den gesamten Trainingsstapel und trainierte auf über 16.000 H100-GPUs. Damit war dieses Modell das erste Llama-Modell, das in diesem Maßstab trainiert wurde.

Um dieses Problem zu lösen, hat Meta die folgenden Designentscheidungen getroffen und sich dabei darauf konzentriert, den Modellentwicklungsprozess skalierbar und einfach zu halten.

• Anstelle eines Hybrid-Expertenmodells wurde eine Standard-Decoder-Transformer-Modellarchitektur mit nur geringfügigen Anpassungen gewählt, um die Trainingsstabilität zu maximieren.
• Wendet ein iteratives Post-Training-Verfahren an, bei dem in jeder Runde überwachte Feinabstimmung und direkte Präferenzoptimierung verwendet werden. Dadurch ist Meta in der Lage, synthetische Daten höchster Qualität für jede Runde zu erstellen und die Leistung aller Funktionen zu verbessern.

Im Vergleich zu früheren Versionen von Llama hat Meta die Quantität und Qualität der für Pre-Training und Post-Training verwendeten Daten verbessert, beispielsweise durch die Entwicklung sorgfältigerer Vorverarbeitungs- und Verwaltungspipelines für Pre-Training-Daten und Entwickeln Sie strengere Qualitätssicherungs- und Filtermethoden.

Wie von den Skalierungsgesetzen für Sprachmodelle erwartet, übertrifft Metas neues Flaggschiffmodell kleinere Modelle, die mit demselben Verfahren trainiert wurden. Meta verwendet auch 405B-Parametermodelle, um die Qualität kleinerer Modelle nach dem Training zu verbessern.

Um die groß angelegte Inferenzausgabe von 405B-Modellen zu unterstützen, quantisierte Meta das Modell von 16 Bit (BF16) auf 8 Bit (FP8), wodurch die erforderlichen Rechenanforderungen effektiv reduziert wurden und das Modell auf einem ausgeführt werden konnte einzelner Serverknoten.

Befehls- und Chat-Optimierungen

Llama 3.1 405B ist bestrebt, die Nützlichkeit, Qualität und detaillierte Anleitungsbefolgung von Modellen bei der Reaktion auf Benutzeranweisungen zu verbessern und gleichzeitig ein hohes Maß an Sicherheit zu gewährleisten.

In der Post-Training-Phase erstellte das Forschungsteam das endgültige Chat-Modell, indem es mehrere Ausrichtungsrunden auf der Grundlage des vorab trainierten Modells durchführte. Jede Runde umfasst überwachte Feinabstimmung (SFT), Ablehnungsstichprobe (RS) und direkte Präferenzoptimierung (DPO).

Das Forschungsteam nutzt die Generierung synthetischer Daten, um die überwiegende Mehrheit der SFT-Beispiele zu erstellen, und iteriert mehrmals, um immer hochwertigere synthetische Daten über alle Funktionen hinweg zu generieren. Darüber hinaus setzte das Forschungsteam mehrere Datenverarbeitungstechniken ein, um diese synthetischen Daten in höchster Qualität zu filtern und das Datenvolumen über die funktionale Skalierbarkeit hinweg zu optimieren.

Lama-System

Das Lama-Modell existierte schon immer als Teil eines KI-Systems und kann mehrere Komponenten koordinieren, einschließlich des Aufrufs externer Tools. Meta soll über das Basismodell hinausgehen und Entwicklern die Flexibilität geben, maßgeschneiderte Produkte zu entwerfen und zu erstellen, die ihrer Vision entsprechen.

Um KI verantwortungsvoll über die Modellebene hinaus zu entwickeln, hat Meta ein vollständiges Referenzsystem veröffentlicht, das mehrere Beispielanwendungen sowie neue Komponenten wie Llama Guard 3, ein mehrsprachiges Sicherheitsmodell und Prompt Guard (einen Prompt-Injection-Filter) umfasst. . Diese Beispielanwendungen sind Open Source und können von der Open Source-Community erstellt werden.

Um breiter mit der Industrie, Startups und der Open-Source-Community zusammenzuarbeiten und dabei zu helfen, die Schnittstellen von Komponenten besser zu definieren, hat Meta eine Kommentaranfrage für „Llama Stack“ auf GitHub veröffentlicht. Llama Stack ist eine Reihe standardisierter Schnittstellen zum Erstellen kanonischer Toolchain-Komponenten (Feinabstimmung, Generierung synthetischer Daten) und Agentenanwendungen. Dies trägt dazu bei, die Interoperabilität einfacher zu erreichen.
Im Gegensatz zu geschlossenen Modellen stehen die Gewichte des Lama-Modells zum Download zur Verfügung. Entwickler können das Modell vollständig an ihre Bedürfnisse und Anwendungen anpassen, an neuen Datensätzen trainieren und zusätzliche Feinabstimmungen durchführen.

Entwickelt mit Llama 3.1 405B

Für normale Entwickler ist die Bereitstellung eines so großen Modells wie 405B zweifellos eine Herausforderung und erfordert viele Rechenressourcen und Fachkenntnisse. In der Kommunikation mit der Entwickler-Community erkannte Meta, dass die Entwicklung generativer KI mehr ist, als nur Eingabeaufforderungen an das Modell zu geben. Sie erwarten von allen Entwicklern, dass sie das volle Potenzial von Llama 3.1 405B in den folgenden Bereichen ausschöpfen:

• Echtzeit- und Batch-Inferenz
• Überwachte Feinabstimmung
• Spezifisches Testen und Bewerten der Modellleistung Anwendungen
• Kontinuierliches Vortraining
• Retrieval Augmented Generation (RAG)
• Funktionsaufruf
• Synthetische Datengenerierung

Freigegeben von jetzt, Llama 3.1 40 Alle erweiterten Funktionen des 5B-Modells sind offen und Entwickler können sofort loslegen. Entwickler können auch Workflows höherer Ordnung erkunden, beispielsweise die Generierung synthetischer Daten basierend auf der Modelldestillation. Bei diesem Upgrade integriert Meta auch nahtlos Lösungen der Partner AWS, NVIDIA und Databricks, um eine effizientere Retrieval Augmentation Generation (RAG) zu erreichen. Darüber hinaus wurde Groq für Inferenzen mit geringer Latenz für die Bereitstellung von Modellen in der Cloud optimiert und ähnliche Leistungsverbesserungen wurden für lokale Systeme vorgenommen.

Meta hat dieses Mal auch ein „Tool-Geschenkpaket“ für Llama 3.1 405B eingebaut, das Schlüsselprojekte wie vLLM, TensorRT und PyTorch umfasst, von der Modellentwicklung bis zur Bereitstellung „out of the box“, alles in einem Schritt.

^{Referenzlink: https://ai.meta.com/blog/meta-llama-3-1/}

Das obige ist der detaillierte Inhalt vonDas stärkste Modell Llama 3.1 405B wird offiziell veröffentlicht, Zuckerberg: Open Source leitet eine neue Ära ein. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!