Auf dem Hauptschlachtfeld der KI ist Wanka die Standardkonfiguration: Der inländische GPU-Wanka-WanP-Cluster ist da!

Das Skalierungsgesetz greift weiterhin und die Rechenleistung kann mit der Ausbaurate großer Modelle kaum mithalten. „Je größer der Maßstab, desto höher die Rechenleistung und desto besser der Effekt“ ist zu einem Industriestandard geworden. Es dauerte nur ein Jahr, bis die Mainstream-Großmodelle von mehreren zehn Milliarden auf 1,8 Billionen Parameter sprangen. Giganten wie META, Google und Microsoft bauen seit 2022 ebenfalls ultragroße Cluster mit mehr als 15.000 Karten auf. „Wanka ist zum Standard für das Hauptschlachtfeld der KI geworden.“

Allerdings gibt es in China nur eine Handvoll landesweit produzierter GPU-Wanka-Cluster. Es gibt einen supergroßen Wanka-Cluster mit super Vielseitigkeit, der eine Lücke in der Branche darstellt.

Als der inländische GPU-Wankawan-P-Cluster sein Debüt feierte, erregte er natürlich große Aufmerksamkeit in der Branche.

Am 3. Juli gab Moore Thread in Shanghai bekannt, dass sein KI-Flaggschiffprodukt KUAE, die intelligente Computing-Cluster-Lösung, ein großes Upgrade erhalten hat und sich von der aktuellen Kilokartenebene deutlich auf die 10.000-Karten-Skala erweitert hat. Der intelligente Wanka-Computing-Cluster von Moore Thread Kuae (KUAE) basiert auf einer GPU mit vollem Funktionsumfang und zielt darauf ab, eine im Inland führende beschleunigte Allzweck-Computing-Plattform zu schaffen, die Wanka-Skalierung unterstützen kann und über 10.000 Gleitkomma-Computing-Funktionen auf P-Ebene verfügt . Entwickelt für komplexes Training großer Modelle mit Billionen Parametern. Dieser bahnbrechende Fortschritt hat einen neuen Maßstab für die inländische GPU-Technologie gesetzt, trägt dazu bei, einen neuen Sprung in den Rechenkapazitäten inländischer intelligenter Computercluster zu erreichen, und wird eine solide und zuverlässige Grundlage für Technologie- und Anwendungsinnovation, wissenschaftliche Forschung und industrielle Modernisierung in diesem Bereich bieten der künstlichen Intelligenz in meinem Land.

Darüber hinaus hat sich Moore Thread mit der China Mobile Communications Group Qinghai Co., Ltd., der China Unicom Qinghai Company, der Beijing Dedao Xinke Group, der China Energy Construction Co., Ltd. General Contracting Company und Guilin Huajue Big Data Technology zusammengetan Co., Ltd. (Rangliste nicht (in der Reihenfolge)) unterzeichnete jeweils strategische Verträge für drei Wanka-Cluster-Projekte, und alle Parteien arbeiteten zusammen, um einen nützlichen inländischen GPU-Cluster aufzubauen.

Moore Thread-Gründer und CEO Zhang Jianzhong sagte: „Derzeit befinden wir uns im goldenen Zeitalter der generativen künstlichen Intelligenz. Die Schnittstelle der Technologien fördert die Entstehung von Intelligenz, und GPU ist zum Innovationsmotor geworden, der die Ankunft beschleunigt.“ neuer technologischer Wellen Moore Thread Wir engagieren uns für diesen historischen Schöpfungsprozess und sind bestrebt, der Welt eine Infrastruktur für beschleunigtes Rechnen und Lösungen aus einer Hand bereitzustellen und eine fortschrittliche Plattform für beschleunigtes Rechnen für die digitale Welt zu schaffen, die künstliche Intelligenz und digitale Zwillinge integriert. Als wichtiger Bestandteil der Full-Stack-KI-Strategie von Moore Thread kann der Intelligent-Computing-Cluster eine enorme Rechenleistung für die Transformation der digitalen Intelligenz in allen Lebensbereichen bereitstellen. Er demonstriert nicht nur effektiv die Stärke von Moore Thread in Bezug auf technologische Innovation und Ingenieurspraxis. sondern wird auch zu einer treibenden Kraft für die KI Die Richtung und der Entwicklungstrend müssen im Laufe der Zeit überprüft werden. Von nun an verdienen jedoch mehrere Entwicklungstrends Beachtung, was den Kernbedarf an Rechenleistung immer deutlicher macht.

Zuallererst wird das Skalierungsgesetz weiterhin funktionieren. Seit der Vorschlag des Skalierungsgesetzes im Jahr 2020 hat es die „Ästhetik der Gewalt“ hinter der Entwicklung großer Modelle offenbart, d. h. durch die tiefe Integration von Rechenleistung, Algorithmen, Daten und der Ansammlung von Erfahrungen einen Sprung in der Modellleistung wurde erreicht, was auch zu einem anerkannten Industriestandard geworden ist und den Entwicklungstrend zukünftiger Großmodelle weiter beeinflussen wird. Das Skalierungsgesetz wird weiterhin funktionieren und erfordert einen einzigen Punkt mit ausreichender Skalierung und allgemeiner Rechenleistung, um schnell mit der technologischen Entwicklung Schritt zu halten.

Zweitens kann die Transformer-Architektur nicht vereinheitlicht werden und wird sich weiterentwickeln und mit anderen Architekturen koexistieren, um ein diversifiziertes Technologie-Ökosystem zu bilden. Die Entwicklung der generativen KI beruht nicht nur auf einer einfachen Skalierungserweiterung, sondern auch Innovationen in der technischen Architektur sind von entscheidender Bedeutung. Obwohl die Transformer-Architektur derzeit Mainstream ist, verbessern aufstrebende Architekturen wie Mamba, RWKV und RetNet weiterhin die Recheneffizienz und beschleunigen Innovationen. Mit der Iteration und Weiterentwicklung der Technologie kann die Transformer-Architektur kein einheitliches Modell erreichen. Von dichten zu spärlichen Modellen bis hin zur Fusion multimodaler Modelle hat der technologische Fortschritt den Wunsch nach leistungsfähigeren Rechenressourcen gezeigt.

Gleichzeitig beschleunigt sich die technologie- und domänenübergreifende Integration von KI, 3D und HPC weiter

und fördert die Erweiterung der Grenzen von räumlicher Intelligenz, physischer KI, AI 4Science, Weltmodellen und anderen Bereichen. Da die Trainings- und Anwendungsumgebung großer Modelle komplexer und vielfältiger wird, besteht auf dem Markt ein immer dringenderer Bedarf an einer allgemeinen beschleunigten Computerplattform, die die integrierte Entwicklung mehrerer Computer wie KI+3D, KI+physikalische Simulation, KI+wissenschaftlich unterstützen kann Computer usw.

Unter den vielfältigen Trends ist Wanka zum Standard für das Hauptschlachtfeld des KI-Modelltrainings geworden. Da der Rechenaufwand weiter zunimmt, erfordert das Training großer Modelle dringend eine Superfabrik, eine „große und universelle“ beschleunigte Computerplattform, um die Trainingszeit zu verkürzen und eine schnelle Iteration der Modellfunktionen zu erreichen. Derzeit setzen internationale Technologiegiganten aktiv Rechencluster mit einer Größe von 1.000 Karten oder sogar mehr als 10.000 Karten ein, um die Wettbewerbsfähigkeit von Großmodellprodukten sicherzustellen. Da sich die Anzahl der Modellparameter von Hunderten von Milliarden auf Billionen erhöht, werden die Modellfunktionen immer allgemeiner und die Anforderungen großer Modelle an die zugrunde liegende Rechenleistung steigen weiter an, oder sogar Super-10.000-Ka-Cluster sind zur Eintrittskarte für diese Runde großer Modelle geworden Wettbewerb.

Der Aufbau eines Wanka-Clusters ist jedoch kein einfaches Stapeln von 10.000 GPU-Karten, sondern ein hochkomplexes Supersystemprojekt. Es beinhaltet viele technische Probleme wie extrem große Netzwerkverbindungen, effizientes Cluster-Computing, Langzeitstabilität und hohe Verfügbarkeit. Dies ist eine schwierige, aber richtige Sache. Moore Thread hofft, eine beschleunigte Computerplattform mit einer Größenordnung von über 10.000 Karten und einem universellen Szenario aufzubauen und der Lösung des Problems des Trainings großer Modelle Priorität einzuräumen.

Kuae: Inländische Wanka 10.000 Billionen große Modell-Trainingsplattform

Kuae (KUAE) ist die Full-Stack-Lösung des Moore Thread Intelligent Computing Center. Sie basiert auf einer voll ausgestatteten GPU und integriert Software und Hardware Eine umfassende und vollständige Rechenleistungslösung auf Systemebene, einschließlich Infrastruktur mit Kua'e-Computing-Cluster als Kern, Kua'e-Cluster-Management-Plattform (KUAE-Plattform) und Kua'e-Großmodell-Serviceplattform (KUAE ModelStudio). Integrierte Bereitstellung Diese Methode löst die Probleme beim Aufbau und Betriebsmanagement großer GPU-Rechenleistung.

... Im Zeitalter großer Modelle ist die Kernanforderung an Rechenleistung „ausreichend groß + universelles Computing + ökologische Kompatibilität“. Durch die Integration des extrem großen GPU-Wanka-Clusters, der Optimierung der extremen Recheneffizienz und der hochstabilen Betriebsumgebung ist Wanka intelligent Computing-Cluster Das neue Superprojekt definiert den neuen Standard der heimischen Cluster-Computing-Fähigkeiten neu.

Die intelligente Computing-Lösung von Kuae Wanka verfügt über mehrere Kernfunktionen:

Super große Rechenleistung, Wanka Wanka P

: In Bezug auf die Cluster-Computing-Leistung erreicht die neue Generation des intelligenten Computing-Clusters von Kuae einen einzigen Cluster Die Größe übersteigt 10.000 Karten und die Gleitkomma-Rechenleistung erreicht 10Exa-Flops, was die Rechenleistung eines einzelnen Clusters erheblich verbessert und eine solide Rechenleistungsgrundlage für das Training großer Modelle mit Billionen von Parametern bieten kann. Gleichzeitig hat der Kua'e Wanka-Cluster in Bezug auf GPU-Speicher und Übertragungsbandbreite eine ultragroße Gesamtgrafikspeicherkapazität auf PB-Niveau, eine ultraschnelle Gesamtbandbreite pro Sekunde für die Interkartenverbindung auf PB-Niveau erreicht Gesamtbandbreite der Ultrahochgeschwindigkeits-Knotenverbindung auf PB-Ebene, wodurch die Computerleistung, der Videospeicher und die Bandbreite systematisch kollaborativ optimiert werden, um die Cluster-Computing-Leistung umfassend zu verbessern.

• Ultrahohe Stabilität, monatliches, langzeitstabiles Training

  : Stabilität ist der Schlüssel zur Messung der Leistung eines Super-10.000-Karten-Clusters. In Bezug auf die Clusterstabilität rühmt sich Moore Thread, dass die durchschnittliche störungsfreie Laufzeit des Wanka-Clusters mehr als 15 Tage beträgt und ein stabiles Training großer Modelle über mehr als 30 Tage erreicht werden kann über 99 % und liegt damit weit über dem Branchendurchschnitt. Dies ist auf eine Reihe vorhersehbarer und diagnostizierbarer zuverlässiger Mechanismen auf mehreren Ebenen zurückzuführen, die von Moore Threads unabhängig entwickelt wurden, darunter: automatische Lokalisierung und Diagnosevorhersage von Software- und Hardwarefehlern, um eine Fehlerlokalisierung auf Minutenebene zu erreichen, und ein mehrstufiger Checkpoint-Speichermechanismus Speicherspeicherung der zweiten Ebene Und die Wiederherstellung von Trainingsaufgaben auf Minutenebene sowie die äußerst fehlertolerante und leistungsstarke Wanka-Clusterverwaltungsplattform realisieren die Verwaltungszuweisung und Jobplanung der zweiten Ebene.

• Extreme Optimierung, ultrahohe MFU: MFU ist ein gängiger Indikator zur Bewertung der Trainingseffizienz großer Modelle, der direkt die End-to-End-Cluster-Trainingseffizienz widerspiegeln kann. Der Kua'e Wanka-Cluster wurde hinsichtlich Systemsoftware, Framework und Algorithmen optimiert, mit einem Ziel einer effektiven Recheneffizienz (MFU) von bis zu 60 % und erreicht damit internationale Standards. Unter anderem werden auf Systemsoftwareebene die Ausführungseffizienz und Leistung des Clusters erheblich verbessert, basierend auf technischen Mitteln wie extremer Rechen- und Kommunikationseffizienzoptimierung. Auf Framework- und Algorithmusebene unterstützt der Kua'e Wanka-Cluster eine Vielzahl adaptiver Hybrid-Parallelstrategien und eine effiziente Speicheroptimierung. Er kann die optimale Parallelstrategie entsprechend der Anwendungslast auswählen und automatisch konfigurieren, wodurch die Trainingseffizienz und die Speichernutzung erheblich verbessert werden. Gleichzeitig nutzt der Kua'e Wanka-Cluster für große Modelle mit sehr langen Sequenzen Optimierungstechnologien wie CP-Parallelität und RingAttention, um Rechenzeit und Speichernutzung effektiv zu reduzieren und die Effizienz des Cluster-Trainings erheblich zu verbessern.



• Vielseitig und universell, umweltfreundlich: Der Kua'e Wanka-Cluster ist eine allgemeine beschleunigte Computerplattform mit Rechenfunktionen, die für allgemeine Szenarien entwickelt wurden und verschiedene Architekturen wie LLM, MoE, Multi- Modal, Mamba usw., große Modelle verschiedener Modalitäten. Gleichzeitig beschleunigt es basierend auf der effizienten und benutzerfreundlichen Programmiersprache MUSA, der vollständigen CUDA-Kompatibilität und dem automatisierten Migrationstool Musify die Migration neuer Modelle auf „Day0“-Ebene, realisiert die ökologische Anpassung „Instant On“ und hilft Kunden gehen schnell online.





Jeder ist eins und baut ein großes Modellanwendungs-Ökosystem auf.

Der Aufbau des Wanka-Clusters erfordert die konzertierten Anstrengungen der Branche, um die schnelle Implementierung großer innovativer Modellanwendungen zu erreichen und heimisches Computing zu ermöglichen Leistung „Gebaut für den Einsatz“. Bei der Pressekonferenz schloss sich Moore Thread mit der China Mobile Communications Group Qinghai Co., Ltd., der China Unicom Qinghai Company, der Beijing Dedao Xinke Group, der China Energy Construction Co., Ltd. General Contracting Company und der Guilin Huajue Big Data Technology Co. zusammen. , Ltd. (in keiner bestimmten Reihenfolge) führte jeweils strategische Verträge für das Qinghai Zero Carbon Industrial Park Wanka Cluster Project, das Qinghai Plateau Kua'e Wanka Cluster Project und das Guangxi ASEAN Wanka Cluster Project durch.

Mit Hilfe der fortschrittlichen intelligenten Full-Stack-Computing-Lösung Kua’e von Moore Thread werden alle Parteien zusammenarbeiten, um eine leistungsstarke nationale industrielle und intelligente Computing-Plattform aufzubauen, um die digitale Transformation und die qualitativ hochwertige Entwicklung der Branche zu beschleunigen. Das Smart-Computing-Cluster-Projekt Kua'e Wanka stellt eine weitere wichtige Entwicklung der heimischen KI-Rechenleistungsinfrastruktur dar und wird der Entwicklung digitaler Volkswirtschaften an verschiedenen Orten neue Dynamik verleihen.



^{Zusammen hat Moore Thread strategisch Verträge mit der China Unicom Qinghai Company und der Peking Dedao Xinke Group unterzeichnet. Nach der strategischen Unterzeichnungskonferenz habe ich die Kernkuppel nicht gefragt, Qingcheng Jizhi, 360, Jingdong Yun, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhizhi, Zhizhi, Zhi Zhi, Zhizhi, Zhizhi, Zhizhi und Zhi Zhi betraten nacheinander die Bühne, um zu erzählen, wie die Moore Der Thread Kua'e Intelligent Computing Cluster hilft ihnen bei der Innovation in verschiedenen Szenarien und Bereichen wie Training großer Modelle, Argumentation großer Modelle und verkörperter Intelligenz und demonstriert die Rolle des Kua'e Intelligent Computing Clusters mit großem Potenzial und breiter Anwendbarkeit in praktischen Anwendungen.}

Moore Thread ist bereit, Seite an Seite mit einer Vielzahl von Industriepartnern zusammenzuarbeiten, die Leistungsfähigkeit der Full-Stack-KI voll auszuschöpfen und die Förderung eines inländischen intelligenten Computer-Ökosystems mit dem Wanka Intelligent Computing Cluster als leistungsstarker Basis zu beschleunigen von Partnern in verschiedenen Bereichen und stärken die digitale Wirtschaft umfassend und eröffnen gemeinsam eine neue Ära großer Modelle und generativer künstlicher Intelligenz, die sich für eine bessere Welt beschleunigt. Während der WAIC wird Moore Thread das Thema „Full-Stack AI Accelerating for a Better World“ im Shanghai World Expo Exhibition and Convention Center (H2 Halle D616) umsetzen, darunter Moore Thread-Beschleunigerkarten, Server, hyperkonvergente All- In-One-Maschinen und AIGC-Anwendungen wurden vorgestellt, und viele Industriepartner demonstrierten gemeinsam eine Fülle von Branchenmodellen und Anwendungslösungen, die auf dem Kua'e Intelligent Computing Cluster basieren.

Das obige ist der detaillierte Inhalt vonAuf dem Hauptschlachtfeld der KI ist Wanka die Standardkonfiguration: Der inländische GPU-Wanka-WanP-Cluster ist da!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!