NVIDIA mengeluarkan H200, cip AI paling berkuasa di dunia: prestasi hampir dua kali ganda berbanding H100

NVIDIA mengeluarkan cip AI paling berkuasa di dunia H200: prestasi hampir dua kali ganda berbanding H100

Teknologi Pantas melaporkan hari ini (14 November) bahawa pada Persidangan Pengkomputeran Global Global 2023 (SC2023), cip gergasi Nvidia mengeluarkan pengganti cip H100, yang kini merupakan cip AI-H200 paling berkuasa di dunia.

Prestasi H200 terus meningkat sebanyak 60% hingga 90% berbanding H100

Bukan itu sahaja, H200 dan H100 kedua-duanya berdasarkan seni bina NVIDIA Hopper, yang juga bermakna kedua-dua cip itu serasi antara satu sama lain Bagi syarikat yang menggunakan H100, ia boleh diganti dengan lancar dengan H200 terkini.

H200 ialah cip pertama NVIDIA yang menggunakan memori HBM3e Ia mempunyai kelajuan yang lebih pantas dan kapasiti yang lebih besar, dan sangat sesuai untuk latihan dan inferens model bahasa yang besar

Selain memori HBM3e, kapasiti memori H200 ialah 141GB, dan lebar jalur telah meningkat daripada 3.35TB/s H100 kepada 4.8TB/s.

Peningkatan prestasi H200 terutamanya dicerminkan dalam prestasi inferens model besar Kelajuan inferens H200 pada model Llama2 besar dengan 70 bilion parameter adalah dua kali lebih pantas daripada H100, dan penggunaan tenaga inferens H200 dikurangkan secara langsung. separuh berbanding H100.

H200 mempunyai lebar jalur memori yang lebih tinggi, yang bermaksud bahawa untuk aplikasi pengkomputeran berprestasi tinggi intensif memori, data pengendalian boleh diakses dengan lebih cekap. Menggunakan H200 boleh meningkatkan masa pemerolehan hasil sehingga 110 kali ganda berbanding unit pemprosesan pusat (CPU)

Nvidia berkata bahawa H200 dijangka dihantar pada suku kedua 2024. Harganya masih belum diumumkan Namun, di tengah-tengah kekurangan kuasa pengkomputeran, syarikat teknologi besar masih dijangka menyimpan bekalan.

Atas ialah kandungan terperinci NVIDIA mengeluarkan H200, cip AI paling berkuasa di dunia: prestasi hampir dua kali ganda berbanding H100. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!