騰訊發布星脈網路 2.0：大模型訓練效率比上代提升 20%

感謝網友 航空先生 的線索投遞！ 7 月2 日消息，騰訊昨天發布其自研星脈網路2.0 版本，升級後的星脈網路支援單集群10 萬卡組網，網路通訊效率比上一代提升60%，大模型訓練效率提升20% ，故障定位從天級降到分鐘級。獲悉，騰訊自研交換機從25.6T 升級到51.2T，容量提升一倍；自研矽光模組從200G 升級到400G，速率提升一倍；搭載自研算力網卡；整機通訊頻寬3.2T，為業界最高。騰訊自研全新通訊協定TiTa2.0 的部署位置從交換器轉移到了網路卡上，擁塞演算法也從被動擁塞演算法升級為主動擁塞控制演算法，將星脈網路的通訊效率提升30%，讓大模型的訓練效率提升10%。騰訊全新高效能集合通訊庫 TCCL2.0 採用 NVLINK+NET 異質並行通信，實現資料的平行傳輸。 Auto-Tune Network Expert 自適應演算法可根據機型、網路規模、模型演算法等差異，自動調整資料包分割大小、匹配演算法等參數。星脈網路通訊效能提升 30%，讓大模型的訓練效率再提升 10%。

▲資料的平行傳輸（騰訊雲）TiTa 與 TCCL 升級帶來的效果疊加，讓星脈網路的通訊效率共提升 60%，大模式訓練效率共提升 20%。

以上是騰訊發布星脈網路 2.0：大模型訓練效率比上代提升 20%的詳細內容。更多資訊請關注PHP中文網其他相關文章！