NVIDIA, 세계에서 가장 강력한 AI 칩인 H200 출시: H100에 비해 성능이 거의 두 배 향상

NVIDIA, 세계에서 가장 강력한 AI 칩 H200 출시: H100에 비해 거의 두 배 향상된 성능

Quick Technology는 오늘(11월 14일) 2023년 글로벌 슈퍼컴퓨팅 컨퍼런스(SC2023)에서 칩 대기업 NVIDIA가 현재 세계에서 가장 강력한 AI 칩인 H100 칩의 후속 제품인 H200을 출시했다고 보도했습니다.

H200의 성능은 H100에 비해 60~90% 직접적으로 향상되었습니다

그뿐만 아니라 H200과 H100은 모두 NVIDIA Hopper 아키텍처를 기반으로 하므로 두 칩이 서로 호환되므로 H100을 사용하는 기업의 경우 최신 H200으로 원활하게 교체할 수 있습니다.

H200은 HBM3e 메모리를 사용하는 NVIDIA 최초의 칩입니다. 더 빠른 속도와 더 큰 용량을 갖추고 있으며 대규모 언어 모델의 학습 및 추론에 매우 적합합니다

HBM3e 메모리 외에도 H200의 메모리 용량은 141GB이며, 대역폭은 H100의 3.35TB/s에서 4.8TB/s로 늘어났습니다.

H200의 성능 향상은 주로 대형 모델의 추론 성능에 반영됩니다. 700억 개의 매개변수를 갖춘 대형 Llama2 모델에서 H200의 추론 속도는 H100의 추론 속도보다 두 배 빠르며, H200의 추론 에너지 소비는 직접적으로 감소합니다. H100에 비해 절반으로 줄었습니다.

H200은 메모리 대역폭이 더 높습니다. 즉, 메모리 집약적인 고성능 컴퓨팅 애플리케이션의 경우 운영 데이터에 더 효율적으로 액세스할 수 있습니다. H200을 사용하면 중앙 처리 장치(CPU)에 비해 결과 획득 시간을 최대 110배까지 단축할 수 있습니다

Nvidia는 H200이 2024년 2분기에 출시될 것으로 예상한다고 밝혔습니다. 가격은 아직 발표되지 않았습니다. 그러나 컴퓨팅 파워 부족 속에서도 거대 기술 기업들은 여전히 ​​물량을 비축할 것으로 예상됩니다.

위 내용은 NVIDIA, 세계에서 가장 강력한 AI 칩인 H200 출시: H100에 비해 성능이 거의 두 배 향상의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!