Tsinghua University und Zhipu AI Open Source GLM-4: Start einer neuen Revolution in der Verarbeitung natürlicher Sprache

Seit der Einführung von ChatGLM-6B am 14. März 2023 haben die Modelle der GLM-Serie große Aufmerksamkeit und Anerkennung erhalten. Insbesondere nachdem ChatGLM3-6B als Open Source verfügbar war, sind die Entwickler voller Erwartungen an das von Zhipu AI eingeführte Modell der vierten Generation. Diese Erwartung wurde mit der Veröffentlichung von GLM-4-9B endlich vollständig erfüllt.

Die Geburt von GLM-4-9B

Um kleinen Modellen (10B und darunter) leistungsfähigere Fähigkeiten zu verleihen, hat das GLM-Technikteam nach fast einem halben Jahr dieses neue Open-Source-Modell der GLM-Serie der vierten Generation auf den Markt gebracht der Erkundung: GLM-4-9B. Dieses Modell komprimiert die Modellgröße erheblich und stellt gleichzeitig Genauigkeit sicher. Es verfügt über eine schnellere Inferenzgeschwindigkeit und eine höhere Effizienz. Die Erforschung des GLM-Technikteams nimmt kein Ende und wir werden weiterhin hart daran arbeiten, wettbewerbsfähigere Open-Source-Technologie auf den Markt zu bringen für das Datenscreening und schließlich 10T hochwertige mehrsprachige Daten erhalten. Diese Datenmenge ist mehr als dreimal so groß wie die des ChatGLM3-6B-Modells. Darüber hinaus nutzen wir die FP8-Technologie für ein effizientes Vortraining, wodurch die Trainingseffizienz im Vergleich zum Modell der dritten Generation um das 3,5-fache verbessert wird. Unter Berücksichtigung der Speicheranforderungen des Benutzers wurde die Parametergröße von GLM-4-9B von 6B auf 9B erhöht. Letztendlich haben wir die Berechnung vor dem Training um das Fünffache erhöht, um die Leistungsfähigkeit unter begrenzten Speicherbedingungen zu maximieren.

Hervorragende Leistungsdemonstration

GLM-4-9B ist ein umfassendes, umfassendes Technologie-Upgrade-Tool mit leistungsfähigerer Argumentationsleistung, besseren Kontextverarbeitungsfunktionen, mehrsprachiger Unterstützung, multimodaler Verarbeitung und vollständigem Tool-Set, das alle Tools aufruft und andere Vorteile. Diese Upgrades bieten Benutzern einen stabileren, zuverlässigeren und genaueren technischen Support und verbessern die Arbeitseffizienz und -qualität der Benutzer.

Die GLM-4-9B-Serie umfasst mehrere Versionen:

Basisversion: GLM-4-9B (8K)

Konversationsversion: GLM-4-9B-Chat (128K)

Extra lange Kontextversion: GLM-4-9B-Chat-1M (1M)

• Multimodale Version: GLM-4V-9B-Chat (8K)
• Leistungsstarke Funktionen von GLM-4-9B

Grundlegende Funktionen Basierend auf einer umfassenden Vorschulung haben sich die umfassenden Chinesisch- und Englischkenntnisse von GLM-4-9B im Vergleich zu ChatGLM3-6B um 40 % verbessert. Insbesondere wurden erhebliche Verbesserungen bei der chinesischen Ausrichtungsfunktion AlignBench, der Befehlskonformitätsfunktion IFeval und der Engineering-Code-Verarbeitungsfunktion Natural Code Bench erzielt. Auch beim Vergleich des Modells Llama 3 8B mit mehr Trainingsvolumen ist GLM-4-9B in keiner Weise unterlegen und führt bei den Englischleistungen. Im Bereich der chinesischen Fächer hat sich GLM-4-9B um bis zu 50 % verbessert Bewertungstabelle].

Langtextverarbeitungsfunktion

Bilder

Die Kontextlänge des GLM-4-9B+-Modells wurde von 128.000 auf 1.000.000 Token erweitert, was bedeutet, dass es Eingaben von bis zu 2 Millionen Wörtern gleichzeitig verarbeiten kann gleichzeitig, was zwei Büchern von „Dream of Red Mansions“ oder dem Umfang von 125 wissenschaftlichen Arbeiten entspricht. Das GLM-4-9B-Chat-1M-Modell hat seine hervorragende Fähigkeit zur zerstörungsfreien Verarbeitung langer Texteingaben im „Nadel im Heuhaufen“-Experiment erfolgreich unter Beweis gestellt [Illustration des Langtext-Experiments].

Im Folgenden finden Sie zwei Demo-Videofälle, die die Funktionen zur Verarbeitung langer Texte zeigen:

GLM-4-9B-Chat-Modell:

Geben Sie 5 PDF-Dateien mit einer Gesamtlänge von etwa 128 KB ein und schreiben Sie einen Artikel über Prompt for ein ausführlicher Forschungsbericht über die Entwicklung großer Modelle in China. Das Modell kann schnell hochwertige Forschungsberichte erstellen (Video wird nicht beschleunigt).

1. GLM-4-9B-Chat-1M Modell: Geben Sie etwa 900.000 Wörter in die vollständige Sammlung von „Das Drei-Körper-Problem“ ein und bitten Sie das Modell, eine Fortsetzungsskizze für den Roman zu schreiben. Das Modell ist vernünftig geplant und bietet einen Fortsetzungsrahmen (Video 10-fach beschleunigt).
2. Mehrsprachige Unterstützung
GLM-4-9B+ unterstützt bis zu 26 Sprachen, darunter Chinesisch, Englisch, Russisch usw. Wir haben die Vokabulargröße des Tokenizers von 65 KB auf 150 KB erweitert und so die Codierungseffizienz um 30 % verbessert. Bei mehrsprachigen Verständnis- und Generierungsaufgaben übertrifft GLM-4-9B-Chat Llama-3-8B-Instruct [Vergleichstabelle für mehrsprachige Leistung].

Funktionsaufruffähigkeit

Die Funktionsaufruffähigkeit von GLM-4-9B ist im Vergleich zur vorherigen Generation um 40 % gestiegen. Im Berkeley Function-Calling Leaderboard ist seine Funktionsaufruffähigkeit mit der von GPT-4 vergleichbar [Funktionsaufrufleistung Vergleichstabelle].

Alle Tools Vollständiger Tools-Aufruf

Die Funktion „Alle Tools“ bedeutet, dass das Modell verschiedene externe Tools (wie Codeausführung, Netzwerkbrowsing, Zeichnen usw.) verstehen und verwenden kann, um bei der Erledigung von Aufgaben zu helfen. Beim Zhipu DevDay am 16. Januar wurde das GLM-4-Modell vollständig mit All-Tools-Funktionen aktualisiert, die Webbrowser, Code-Interpreter, CogView und andere Tools intelligent aufrufen können, um komplexe Anforderungen zu erfüllen [All-Tools-Aufgabensymbol].

Multimodale VerarbeitungGLM-4V-9B, ein multimodales Open-Source-Modell basierend auf GLM-4, ist in der Lage, hochauflösende Eingaben zu verarbeiten und visuelle und Textdaten für Schulungen und Demonstrationen direkt zu mischen Bemerkenswert Der multimodale Verarbeitungseffekt entspricht der Leistung von GPT-4V. Es eignet sich sehr gut für die Identifizierung und Verarbeitung komplexer multimodaler Aufgaben [Beispieldiagramm für multimodale Anwendungen].

Bilder

Zukunftsausblick

GLM-4-9B hat seine leistungsstarke Leistung bei einer Vielzahl von Aufgaben unter Beweis gestellt und ist ein Durchbruch auf dem Gebiet der Verarbeitung natürlicher Sprache. Ob akademische Forschung oder industrielle Anwendungen, der GLM-4-9B ist Ihre beste Wahl.

Wir laden Sie herzlich ein, sich den Reihen der GLM-4-Benutzer anzuschließen und die Möglichkeiten zu erkunden, die dieses hervorragende Modell bietet:

• GitHub-Repository
• Hugging Face-Modellseite
• Magic Community

Das obige ist der detaillierte Inhalt vonTsinghua University und Zhipu AI Open Source GLM-4: Start einer neuen Revolution in der Verarbeitung natürlicher Sprache. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!