AIの主戦場にはWankaが標準構成：国産GPU Wanka WanPクラスタ登場！

スケーリングの法則は引き続き有効であり、コンピューティング能力は大規模モデルの拡張率にほとんど追いつきません。 「規模が大きくなればなるほど、計算能力が高まり、効果が高まる」というのが業界標準になっています。 META、Google、Microsoft などの大手企業も、2022 年から 15,000 枚を超えるカードを備えた超大規模クラスターを構築しています。 「Wanka は AI の主戦場の標準になりました

」しかし、中国には国産の GPU Wanka クラスターがほんのわずかしかありません。業界のギャップである超多用途性を備えた超大規模なWankaクラスターが存在します。

国産 GPU わんかわん P クラスターがデビューすると、当然のことながら業界で幅広い注目を集めました。

7月3日、Moore Threadsは上海で、同社のAI主力製品であるKUAEインテリジェント・コンピューティング・クラスター・ソリューションが大幅なアップグレードを達成し、現在のキロカードレベルから10,000カード規模に大幅に拡張されたと発表した。 Moore Thread Kuae (KUAE) Wanka インテリジェント コンピューティング クラスターは、フル機能の GPU に基づいており、Wanka スケールを実行でき、10,000 P レベルの浮動小数点コンピューティング機能を備えた国内トップクラスの汎用アクセラレーション コンピューティング プラットフォームの作成を目指しています。数兆ものパラメータを使用した複雑な大規模モデルのトレーニング向けに設計されています。この画期的な進歩は、国内の GPU テクノロジーの新たなベンチマークを設定し、国内のインテリジェント コンピューティング クラスターのコンピューティング能力の新たな飛躍を達成するのに役立ち、この分野の技術およびアプリケーションの革新、科学研究、産業のアップグレードに強固で信頼性の高い基盤を提供することになります。私の国の重要なインフラストラクチャの人工知能。

さらに、ムーアスレッドは、中国移動通信集団青海有限公司、チャイナユニコム青海会社、北京徳道新科集団、中国エネルギー建設総合請負会社、桂林華覚ビッグデータテクノロジーと提携しました。株式会社 (順位なし) は、それぞれ 3 つの Wanka クラスター プロジェクトの戦略的契約を締結し、すべての関係者が協力して有用な国内 GPU クラスターを構築しました。

Moore Thread の創設者兼 CEO、Zhang Jianzhong 氏は次のように述べています。「現在、私たちは生成型人工知能の黄金時代にいます。テクノロジーの交差点が知能の出現を促進し、GPU はその革新エンジンとなっています。ムーア スレッドは、この歴史的な創造プロセスに取り組み、アクセラレーテッド コンピューティング インフラストラクチャとワンストップ ソリューションを世界に提供し、統合されたデジタル世界向けの高度なアクセラレーテッド コンピューティング プラットフォームを構築することに取り組んでいます。人工知能とデジタル ツイン ムーア スレッドのフルスタック AI 戦略の重要な部分として、インテリジェント コンピューティング クラスターは、あらゆる分野のデジタル インテリジェンス変革に急増するコンピューティング パワーを提供できるだけでなく、技術革新とエンジニアリングの実践だけでなく、産業発展の新たな出発点にもなります。「

」AIの主戦場では、Wankaのユニバーサルコンピューティングパワーが標準です。大規模なモデル、その将来の方向性と開発傾向は時間とともに検証する必要がありますが、今後、上記から判断すると、いくつかの進化の傾向が注目に値し、コンピューティング能力に対する中心的な需要がますます明確になります。

まず、スケーリング法は引き続き機能します。

スケーリング則は 2020 年に提案されて以来、大規模モデルの開発の背後にある「暴力の美学」、つまりコンピューティング能力、アルゴリズム、データ、経験の蓄積の深い統合を通じて、モデルのパフォーマンスが飛躍的に向上することを明らかにしました。を達成し、業界標準として認知され、今後の大型モデルの開発動向に影響を与え続けます。スケーリングの法則は今後も機能し続けるため、技術の進化に迅速に対応するには、十分な規模と一般的なコンピューティング能力を備えた単一ポイントが必要です。

第二に、Transformer アーキテクチャは統一することができず、進化し続け、他のアーキテクチャと共存して、多様なテクノロジー エコシステムを形成します。 生成 AI の進化は、単純な規模の拡大だけではなく、技術アーキテクチャの革新も重要です。現在、Transformer アーキテクチャが主流ですが、Mamba、RWKV、RetNet などの新興アーキテクチャも引き続きコンピューティング効率を刷新し、イノベーションを加速させています。技術の反復と進化に伴い、Transformer アーキテクチャでは、高密度モデルから疎モデル、マルチモーダル モデルの融合まで、統一されたモデルを実現できなくなりました。技術の進歩により、より高性能なコンピューティング リソースが求められるようになりました。

同時に、AI、3D、HPCのクロステクノロジーおよびクロスドメイン統合は加速し続けており、空間インテリジェンス、物理AI、AI 4サイエンス、ワールドモデル、その他の分野の境界の拡大を促進しています。大規模モデルのトレーニングとアプリケーション環境がより複雑かつ多様になる中、市場では、AI+3D、AI+物理シミュレーション、AI+科学などのマルチコンピューティングの統合開発をサポートできるユニバーサルアクセラレーテッドコンピューティングプラットフォームのニーズがますます高まっています。コンピューティングなど

多様なトレンドの下、WankaはAIモデルトレーニングの主戦場の標準となっています。 コンピューティングの量が増加し続けるため、大規模なモデルのトレーニングには、トレーニング時間を短縮し、モデル機能の迅速な反復を実現する「大規模で汎用的な」高速コンピューティング プラットフォームであるスーパー ファクトリーが緊急に必要です。現在、国際的なテクノロジー大手は、大型モデル製品の競争力を確保するために、1,000 枚、さらには 10,000 枚以上のカード規模のコンピューティング クラスターを積極的に導入しています。モデル パラメーターの数が数千億から数兆に移行するにつれて、モデルの機能はより一般化され、Wanka クラスターやさらには超 10,000ka クラスターに対する大規模モデルの要求がこのラウンドの大規模モデルへのチケットとなっています。競争。

ただし、Wanka クラスターの構築は、10,000 枚の GPU カードを単純に積み重ねるだけではなく、非常に複雑なスーパー システム プロジェクトです。 これには、超大規模ネットワークの相互接続、効率的なクラスター コンピューティング、長期的な安定性、高可用性など、多くの技術的問題が伴います。これは難しいですが、正しいことです。ムーア スレッドは、10,000 枚を超える規模のカードと普遍的なシナリオを備えた高速コンピューティング プラットフォームを構築し、大規模なモデルのトレーニングの問題を解決することを優先したいと考えています。

Kuae: 国内 Wanka 10,000 兆の大規模モデル トレーニング プラットフォーム

Kuae (KUAE) は、Moore Thread Intelligent Computing Center のフルスタック ソリューションであり、フル機能の GPU をベースにしており、ソフトウェアと統合されています。 Kua'e コンピューティング クラスターをコアとするインフラストラクチャ、Kua'e クラスター管理プラットフォーム (KUAE プラットフォーム)、および Kua'e ラージ モデル サービス プラットフォーム (KUAE ModelStudio) を含む、包括的で完全なシステム レベルのコンピューティング パワー ソリューション。統合デリバリー この方式は、大規模な GPU 計算能力の構築と運用管理の問題を解決します。

AI コンピューティング能力要件の深い洞察と将来を見据えたレイアウトに基づいて、Moore Thread Kua'e インテリジェント コンピューティング クラスターは、キロカードから 10,000ka クラスターまでのシームレスな拡張を実現し、次の目標を満たすことができます。大型モデルの時代におけるコンピューティング能力の中心的な需要は、「十分な規模 + ユニバーサル コンピューティング + エコロジー互換性」です。超大規模 GPU Wanka クラスターを統合することにより、極度のコンピューティング効率の最適化と非常に安定した動作環境、Wanka インテリジェントが実現されます。コンピューティング クラスター 新しいスーパー プロジェクトは、国内のクラスター コンピューティング機能の新しい標準を再定義します。

Kuae Wanka インテリジェント コンピューティング ソリューションには、複数のコア機能があります:

• 超大規模なコンピューティング能力、Wanka Wanka P

  : クラスター コンピューティングのパフォーマンスに関して、新世代の Kuae インテリジェント コンピューティング クラスターは、単一のクラスターを実現します。サイズは 10,000 カードを超え、浮動小数点演算能力は 10Exa-Flops に達します。これにより、単一クラスターの演算パフォーマンスが大幅に向上し、数兆のパラメータを持つ大規模モデルをトレーニングするための強固な演算能力基盤を提供できます。同時に、GPU メモリと伝送帯域幅の点で、Kua'e Wanka クラスタは PB レベルの超大容量総グラフィックス メモリ容量、PB レベルの超高速カード間相互接続の 1 秒あたりの総帯域幅に達し、 PB レベルの超高速ノード相互接続の総帯域幅によるコンピューティングの実現 電力、ビデオ メモリ、帯域幅を体系的に協調して最適化し、クラスター コンピューティングのパフォーマンスを総合的に向上させます。

• 超高安定性、毎月の長期安定トレーニング

  : 安定性は、超 10,000 枚のカード クラスターのパフォーマンスを測定するための鍵です。クラスターの安定性に関して、Moore Thread は、Wanka クラスターのトラブルフリーの平均実行時間は 15 日以上であり、大規模モデルの安定したトレーニングを 30 日以上達成でき、毎週の平均トレーニング効率目標を達成できることを誇っています。 99% 以上で、業界平均をはるかに上回っています。これは、Moore Threads が独自に開発した一連の予測可能および診断可能なマルチレベルの信頼性の高いメカニズムによるものです。これには、ソフトウェアおよびハードウェア障害の自動位置特定と診断予測により、分単位の障害位置を特定する機能や、チェックポイント マルチレベル ストレージ メカニズムが含まれます。第 2 レベルのメモリ ストレージと、トレーニング タスクの分単位のリカバリと、耐障害性が高くパフォーマンスの高い Wanka クラスター管理プラットフォームにより、第 2 レベルの管理割り当てとジョブ スケジューリングが実現されます。

• 極端な最適化、超高 MFU: MFU は、大規模モデルのトレーニング効率を評価するための一般的な指標であり、エンドツーエンドのクラスターのトレーニング効率を直接反映することができます。 Kua'e Wanka クラスターは、システム ソフトウェア、フレームワーク、アルゴリズムの点で最適化されており、実効計算効率 (MFU) 目標は最大 60% であり、国際標準に達しています。その中で、システム ソフトウェア レベルでは、エクストリーム コンピューティングや通信効率の最適化などの技術的手段に基づいて、クラスターの実行効率とパフォーマンスが大幅に向上します。 Kua'e Wanka クラスターは、フレームワークとアルゴリズム レベルで、さまざまな適応型ハイブリッド並列戦略と効率的なメモリ最適化をサポートしており、アプリケーションの負荷に応じて最適な並列戦略を選択して自動的に構成できるため、トレーニング効率とメモリ使用率が大幅に向上します。同時に、非常に長いシーケンスを持つ大規模なモデルの場合、Kua'e Wanka クラスターは CP 並列処理や RingAttendance などの最適化テクノロジーを使用して、計算時間とメモリ使用量を効果的に削減し、クラスターのトレーニング効率を大幅に向上させます。

• 多用途かつ普遍的、環境に優しい: Kua'e Wanka クラスターは、一般的なシナリオ向けに設計されたコンピューティング機能を備えた一般的なアクセラレーション コンピューティング プラットフォームであり、LLM、MoE、マルチ アーキテクチャなどのさまざまなアーキテクチャを高速化できます。 modal、Mamba など、さまざまなモダリティの大きなモデル。同時に、効率的で使いやすい MUSA プログラミング言語、完全な CUDA 互換性、および自動移行ツール Musify に基づいて、新モデルの「Day0」レベルの移行を加速し、環境適応「インスタント オン」を実現し、顧客はすぐにオンラインにアクセスします。

全員が一つになって、大規模モデルアプリケーションのエコシステムを構築します

Wankaクラスターの構築には、大規模モデルの革新的なアプリケーションを迅速に実装し、国内のコンピューティングを可能にするために業界の協調した努力が必要です「使用するために作られた」パワー。記者会見で、ムーア・スレッドは中国移動通信集団青海有限公司、チャイナユニコム青海会社、北京徳道新科集団、中国エネルギー建設総合請負会社、桂林華覚ビッグデータ技術有限公司と提携した。 、Ltd.（順不同）は、それぞれ青海省ゼロカーボン工業団地万華クラスタープロジェクト、青海高原クアエ万華クラスタープロジェクト、広西チワン族自治区万華クラスタープロジェクトについて戦略契約を締結した。

Moore Thread の高度な Kua'e フルスタック インテリジェント コンピューティング ソリューションにより、関係者全員が協力して強力な国家産業用およびインテリジェント コンピューティング プラットフォームを構築し、産業のデジタル変革と高品質の開発を加速します。 Kua'e Wanka スマート コンピューティング クラスター プロジェクトは、国内の AI コンピューティング電力インフラストラクチャのもう 1 つの大きな発展を示し、さまざまな場所のデジタル経済の発展に新たな活力を注入するでしょう。ムーアスレッドと中国移動通信集団青海有限公司 戦略的調印 A. ムーア ムーアと中国聯通青海会社と北京徳道新科グループ 戦略中国ムーアスレッドと中国能源建設有限公司総合請負会社と桂林華盛ビッグデータテクノロジー株式会社戦略的調印会議の後、私はコアドーム、青城実志、360、京東雲、志志、志志、志志、志志、志志、志志、志志、に尋ねませんでした。 Zhi Zhi、Zhi Zhi、Zhi Zhi、Zhi Zhi、Zhi Zhi、Zhi Zhi、Zhi Zhi、Zhizhi、Zhizhi、Zhi Zhi、Zhizhi、Zhizhi、Zhizhi、Zhi Zhi がステージ 1 に登壇しました。 Moore Thread Kua'e インテリジェント コンピューティング クラスターが、大規模モデルのトレーニング、大規模モデルの推論、身体化されたインテリジェンスなどのさまざまなシナリオや分野での革新にどのように役立つかを次々に共有し、Kua'e インテリジェント コンピューティング クラスターの役割の巨大な可能性を示しています。実用的なアプリケーションでの幅広い適用性。

Moore Thread は、膨大な数の業界パートナーと協力し、フルスタック AI の力を活用し、Wanka インテリジェント コンピューティング クラスターを強力な基盤として国内のインテリジェント コンピューティング エコシステムの推進を加速させたいと考えています。複数の分野を統合し、デジタル経済を広く強化し、共同で大規模モデルと生成人工知能の新時代を切り開き、より良い世界に向けて加速します。 WAIC期間中、ムーア・スレッドは、上海万博展示コンベンションセンター（H2ホールD616）で「より良い世界に向けて加速するフルスタックAI」というテーマを実行します。これには、ムーア・スレッド・アクセラレータ・カード、サーバー、ハイパーコンバージド・オールインワンが含まれます。すべてのフルスタック AI 製品が発表され、多くの業界パートナーが Kua'e インテリジェント コンピューティング クラスターに基づく豊富な業界モデルとアプリケーション ソリューションを共同でデモンストレーションしました。

以上がAIの主戦場にはWankaが標準構成：国産GPU Wanka WanPクラスタ登場！の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。