NVIDIA lance le H200, la puce IA la plus puissante au monde : des performances presque doublées par rapport au H100

NVIDIA lance la puce IA la plus puissante au monde, la H200 : des performances presque doublées par rapport à la H100

Quick Technology a rapporté aujourd'hui (14 novembre) que lors de la Global Supercomputing Conference 2023 (SC2023), le géant des puces Nvidia a publié le successeur de la puce H100, qui est actuellement la puce IA la plus puissante au monde, la H200.

Les performances du H200 sont directement améliorées de 60% à 90% par rapport au H100

De plus, le H200 et le H100 sont tous deux basés sur l'architecture NVIDIA Hopper, ce qui signifie également que les deux puces sont compatibles entre elles. Pour les entreprises utilisant le H100, elles peuvent être remplacées de manière transparente par le dernier H200.

H200 est la première puce de NVIDIA à utiliser la mémoire HBM3e. Elle a une vitesse plus rapide et une plus grande capacité, et est très adaptée à la formation et à l'inférence de grands modèles de langage

.

En plus de la mémoire HBM3e, la capacité de mémoire du H200 est de 141 Go et la bande passante est passée de 3,35 To/s du H100 à 4,8 To/s.

L'amélioration des performances du H200 se reflète principalement dans les performances d'inférence des grands modèles. La vitesse d'inférence du H200 sur le grand modèle Llama2 avec 70 milliards de paramètres est deux fois plus rapide que celle du H100, et la consommation d'énergie d'inférence du H200 est directement réduite. de moitié par rapport au H100.

H200 a une bande passante mémoire plus élevée, ce qui signifie que pour les applications informatiques hautes performances gourmandes en mémoire, les données d'exploitation sont accessibles plus efficacement. L'utilisation du H200 peut améliorer le temps d'acquisition des résultats jusqu'à 110 fois par rapport à une unité centrale (CPU)

Nvidia a déclaré que le H200 devrait être expédié au deuxième trimestre 2024. Le prix n'a pas encore été annoncé. Cependant, en raison de la pénurie de puissance de calcul, les grandes entreprises technologiques devraient encore s'approvisionner.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!