Microsoft lance la machine virtuelle Azure ND H100 v5 avec 8 GPU NVIDIA H100

L'infrastructure Microsoft Azure AI a reçu une mise à niveau le 21 novembre, lançant une nouvelle série de machines virtuelles ND H100 v5. Cette machine virtuelle est équipée d'une unité de traitement graphique (GPU) NVIDIA H100 Tensor Core et d'un réseau à faible latence.

Selon les rapports, Microsoft a récemment lancé la série de machines virtuelles (VM) Azure ND H100 v5, désormais disponible aux États-Unis. Approvisionnement des régions Azure du centre-est et du sud des États-Unis.

Cette série de produits utilise le dernier GPU NVIDIA H100 Tensor Core et le réseau NVIDIA Quantum-2 InfiniBand pour gérer des charges de travail d'intelligence artificielle de plus en plus complexes. Dans le cadre de l'investissement profond et continu de Microsoft dans l'IA, Microsoft exploite un cluster GPU 4K optimisé pour l'IA et prévoit de l'étendre à des centaines de milliers de nouveaux GPU au cours de l'année prochaine

Nous avons compilé ND sur ce site. Caractéristiques du H100 Série de machines virtuelles VM v5 :

• GPU de super calcul AI : Équipé de huit GPU NVIDIA H100 Tensor Core. Cette série permet aux modèles d'IA d'être nettement plus rapides que les machines virtuelles de la génération précédente.
• Unité de traitement informatique (CPU) de nouvelle génération : Les performances du processeur sont cruciales pour la formation et l'inférence de l'IA, et Microsoft a choisi le processeur Intel Xeon Scalable de quatrième génération.
• Réseau à faible latence : Grâce à NVIDIA Quantum-2 ConnectX-7 InfiniBand, chaque GPU dispose de 400 Gb/s et chaque VM dispose d'une bande passante entre nœuds de 3,2 Tb/s.
• Performances hôte-GPU optimisées : Fournit 64 Go/s de bande passante par GPU via PCIe Gen5.
• Mémoire et bande passante mémoire à grande échelle : La mémoire DDR5 est le cœur de cette série de machines virtuelles, offrant une vitesse et une efficacité de transfert de données plus élevées.

Microsoft a déclaré que lorsque cette série de machines virtuelles utilise le nouveau type de données à virgule flottante FP8 8 bits pour effectuer des opérations de multiplication matricielle, la vitesse est multipliée par six, ce qui est plus rapide que la génération précédente de FP16. La machine virtuelle ND H100 v5 permet d'obtenir une inférence jusqu'à 2 fois plus rapide pour les grands modèles de langage tels que le modèle de bout en bout BLOOM 175B.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!