Tencent lance Xingmai Network 2.0 : l'efficacité de la formation des grands modèles a augmenté de 20 % par rapport à la génération précédente

Merci à l'internaute M. Aviation d'avoir soumis l'indice ! Selon les informations du 2 juillet, Tencent a publié hier la version 2.0 de son réseau Xingmai auto-développé. Le réseau Xingmai mis à niveau prend en charge un seul cluster de 100 000 cartes. L'efficacité de la communication réseau est 60 % supérieure à celle de la génération précédente et la formation sur un grand modèle. l'efficacité est augmentée de 20 %, la localisation des défauts est réduite de quelques jours à quelques minutes. On apprend que les commutateurs développés par Tencent ont été mis à niveau de 25,6 T à 51,2 T, doublant ainsi la capacité ; les modules optiques en silicium développés par Tencent ont été mis à niveau de 200 G à 400 G, doublant ainsi la vitesse, équipés de cartes réseau de puissance de calcul auto-développées ; ; la bande passante de communication de l'ensemble de la machine est de 3,2 T, ce qui est la plus élevée du secteur. Le lieu de déploiement du nouveau protocole de communication TiTa2.0 développé par Tencent a été déplacé des commutateurs vers les cartes réseau, et l'algorithme de congestion a été mis à niveau d'un algorithme de congestion passif à un algorithme de contrôle de congestion actif, augmentant ainsi l'efficacité de la communication du réseau Xingmai. de 30 % et améliorant l'efficacité de la formation des grands modèles. Améliorée de 10 %. La nouvelle bibliothèque de communication collective hautes performances de Tencent, TCCL2.0, utilise la communication parallèle hétérogène NVLINK+NET pour réaliser une transmission parallèle des données. L'algorithme adaptatif Auto-Tune Network Expert peut ajuster automatiquement des paramètres tels que la taille de segmentation des paquets et l'algorithme de correspondance en fonction des différences de modèle, de taille de réseau, d'algorithme de modèle, etc. Les performances de communication du réseau Xingmai sont améliorées de 30 %, ce qui augmente l'efficacité de la formation des grands modèles de 10 % supplémentaires.

▲ Transmission parallèle de données (Tencent Cloud) Les effets superposés des mises à niveau TiTa et TCCL ont augmenté l'efficacité de la communication du réseau Xingmai d'un total de 60 % et l'efficacité de la formation des grands modèles d'un total de 20 %.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!