NVIDIA bringt H200 auf den Markt, den leistungsstärksten KI-Chip der Welt: Leistung fast verdoppelt im Vergleich zu H100

NVIDIA bringt den weltweit leistungsstärksten KI-Chip H200 auf den Markt: Leistung im Vergleich zum H100 nahezu verdoppelt

Quick Technology berichtete heute (14. November), dass der Chipriese Nvidia auf der Global Supercomputing Conference 2023 (SC2023) den Nachfolger des H100-Chips, des derzeit leistungsstärksten KI-Chips der Welt, vorgestellt hat: H200.

Die Leistung von H200 ist im Vergleich zu H100 direkt um 60 % bis 90 % verbessert

Darüber hinaus basieren H200 und H100 beide auf der NVIDIA Hopper-Architektur, was auch bedeutet, dass die beiden Chips miteinander kompatibel sind. Für Unternehmen, die H100 verwenden, können sie nahtlos durch den neuesten H200 ersetzt werden.

H200 ist NVIDIAs erster Chip, der HBM3e-Speicher verwendet. Er verfügt über eine höhere Geschwindigkeit und größere Kapazität und eignet sich sehr gut für das Training und die Inferenz großer Sprachmodelle

Zusätzlich zum HBM3e-Speicher beträgt die Speicherkapazität des H200 141 GB und die Bandbreite wurde von 3,35 TB/s beim H100 auf 4,8 TB/s erhöht.

Die Leistungsverbesserung von H200 spiegelt sich hauptsächlich in der Inferenzleistung großer Modelle wider. Die Inferenzgeschwindigkeit von H200 beim großen Llama2-Modell mit 70 Milliarden Parametern ist doppelt so schnell wie die von H100, und der Inferenzenergieverbrauch von H200 wird direkt reduziert um die Hälfte im Vergleich zu H100.

H200 verfügt über eine höhere Speicherbandbreite, was bedeutet, dass bei speicherintensiven Hochleistungs-Computing-Anwendungen effizienter auf Betriebsdaten zugegriffen werden kann. Durch den Einsatz des H200 kann die Zeit zur Ergebniserfassung im Vergleich zu einer Zentraleinheit (CPU) um das bis zu 110-fache verkürzt werden

Nvidia gab an, dass der H200 voraussichtlich im zweiten Quartal 2024 ausgeliefert wird. Der Preis wurde noch nicht bekannt gegeben. Aufgrund des Mangels an Rechenleistung wird jedoch weiterhin damit gerechnet, dass große Technologieunternehmen ihre Vorräte wahnsinnig anlegen.

Das obige ist der detaillierte Inhalt vonNVIDIA bringt H200 auf den Markt, den leistungsstärksten KI-Chip der Welt: Leistung fast verdoppelt im Vergleich zu H100. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!