Tencent が Xingmai Network 2.0 をリリース: 大規模モデルのトレーニング効率が前世代と比較して 20% 向上

手がかりを提出してくれたネチズンのミスター・アビエーションに感謝します! 7 月 2 日のニュースによると、テンセントは昨日、自社開発した Xingmai ネットワークのバージョン 2.0 をリリースしました。アップグレードされた Xingmai ネットワークは、前世代よりも 60% 高いネットワーク通信効率と大規模なモデルのトレーニングをサポートしています。効率が 20% 向上し、障害位置が数日から数分に短縮されます。 Tencent の自社開発スイッチは 25.6T から 51.2T にアップグレードされ、容量が 2 倍になり、自社開発のコンピューティング パワー ネットワーク カードが搭載され、200G から 400G にアップグレードされたことがわかりました。 ; マシン全体の通信帯域幅は業界最高の 3.2T です。 Tencent が自社開発した新しい通信プロトコル TiTa2.0 の導入場所がスイッチからネットワーク カードに移動され、輻輳アルゴリズムがパッシブ輻輳アルゴリズムからアクティブ輻輳制御アルゴリズムにアップグレードされ、Xingmai ネットワークの通信効率が向上しました。 30% 向上し、大規模モデルのトレーニング効率が 10% 向上しました。 Tencent の新しい高性能集合通信ライブラリ TCCL2.0 は、NVLINK+NET 異種並列通信を使用してデータの並列送信を実現します。 Auto-Tune Network Expert 適応アルゴリズムは、モデル、ネットワーク サイズ、モデル アルゴリズムなどの違いに基づいて、パケット セグメンテーション サイズやマッチング アルゴリズムなどのパラメーターを自動的に調整できます。 Xingmai ネットワークの通信パフォーマンスは 30% 向上し、大規模モデルの学習効率がさらに 10% 向上します。

▲ データの並列送信 (Tencent Cloud) TiTa と TCCL のアップグレードの重畳効果により、Xingmai ネットワークの通信効率が合計 60%、大規模モデルのトレーニング効率が合計 20% 向上しました。

以上がTencent が Xingmai Network 2.0 をリリース: 大規模モデルのトレーニング効率が前世代と比較して 20% 向上の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。