Bagaimana untuk memaksimumkan prestasi GPU

Cara lalai untuk mempercepatkan projek AI adalah dengan meningkatkan saiz kluster GPU anda. Walau bagaimanapun, apabila bekalan GPU menjadi semakin ketat, kos semakin tinggi dan lebih tinggi. Adalah difahami bahawa banyak syarikat AI membelanjakan lebih daripada 80% daripada modal yang diperoleh untuk sumber pengkomputeran. GPU adalah kunci kepada infrastruktur AI dan harus diperuntukkan sebanyak mungkin bajet. Walau bagaimanapun, sebagai tambahan kepada kos yang tinggi ini, terdapat cara lain untuk meningkatkan prestasi GPU yang perlu dipertimbangkan, dan ia menjadi semakin mendesak

Memperluas kluster GPU bukanlah satu tugas yang mudah, terutamanya kerana pengembangan ganas kecerdasan buatan generatif membawa kepada Sekiranya kekurangan GPU. GPU NVIDIA A100 adalah antara GPU pertama yang terjejas dan kini sangat terhad, dengan beberapa versi mempunyai masa pendahuluan sehingga setahun. Cabaran rantaian bekalan ini telah memaksa ramai untuk mempertimbangkan H100 yang lebih tinggi sebagai alternatif, tetapi jelas pada harga yang lebih tinggi. Bagi usahawan yang melabur dalam infrastruktur mereka sendiri untuk mencipta penyelesaian AI generatif yang hebat seterusnya untuk industri mereka, terdapat keperluan untuk memerah setiap penurunan terakhir kecekapan daripada GPU sedia ada

Mari kita lihat bagaimana perniagaan menerima pakai Mencadangkan pengubahsuaian kepada rangkaian dan reka bentuk storan infrastruktur AI untuk mendapatkan lebih banyak pelaburan pengkomputeran

Isu data

Mengoptimumkan penggunaan infrastruktur pengkomputeran sedia ada merupakan pendekatan yang penting. Untuk memaksimumkan penggunaan GPU, masalah kelajuan pemindahan data yang perlahan perlu diselesaikan untuk memastikan GPU kekal berjalan di bawah beban yang tinggi. Sesetengah pengguna mengalami penggunaan GPU sebanyak 20% sahaja, yang tidak boleh diterima. Hasilnya, pasukan AI sedang mencari cara terbaik untuk memaksimumkan pulangan pelaburan AI mereka

GPU ialah enjin AI. Sama seperti enjin kereta memerlukan petrol untuk berfungsi, GPU memerlukan data untuk melaksanakan operasi. Jika anda mengehadkan aliran data, anda akan mengehadkan prestasi GPU. Jika GPU hanya 50% cekap, produktiviti pasukan AI akan berkurangan, masa yang diperlukan untuk menyiapkan projek akan berganda, dan pulangan pelaburan akan dikurangkan separuh. Oleh itu, dalam reka bentuk infrastruktur, adalah penting untuk memastikan bahawa GPU boleh beroperasi pada kecekapan maksimum dan memberikan prestasi pengkomputeran yang dijangkakan

Adalah penting untuk ambil perhatian bahawa kedua-dua pelayan DGX A100 dan H100 mempunyai storan dalaman sehingga 30 TB kapasiti. Walau bagaimanapun, memandangkan purata saiz model adalah lebih kurang 150 TB, kapasiti ini tidak mencukupi untuk kebanyakan model pembelajaran mendalam. Oleh itu, storan data luaran tambahan diperlukan untuk menyediakan data kepada GPU

Prestasi storan

Storan AI biasanya terdiri daripada pelayan, NVMe SSD dan perisian storan, yang biasanya dibungkus dalam peranti mudah. Sama seperti GPU dioptimumkan untuk memproses sejumlah besar data selari dengan puluhan ribu teras, storan juga perlu berprestasi tinggi. Dalam kecerdasan buatan, keperluan asas untuk storan adalah untuk dapat menyimpan keseluruhan set data dan memindahkan data ke GPU pada kelajuan talian (iaitu, kelajuan terpantas yang dibenarkan oleh rangkaian) untuk memastikan GPU berjalan dengan cekap dan tepu. Apa-apa yang kurang mengakibatkan pembaziran sumber GPU yang sangat mahal dan berharga ini

Membantu mengoptimumkan sumber GPU dan meningkatkan persekitaran keseluruhan dengan menyampaikan data dengan kelajuan yang boleh bersaing dengan gugusan 10 atau 15 pelayan GPU yang berjalan pada kelajuan penuh prestasi, sambil menggunakan belanjawan anda sebaik mungkin untuk memanfaatkan keseluruhan infrastruktur anda

Malah, cabarannya ialah vendor storan yang tidak dioptimumkan untuk AI memerlukan banyak nod pengiraan pelanggan untuk mengekstrak prestasi penuh daripada storan . Jika anda bermula dengan satu pelayan GPU, anda pula akan memerlukan banyak nod storan untuk mencapai prestasi tersebut untuk menyediakan pelayan GPU tunggal.

Kandungan yang ditulis semula: Jangan percaya semua hasil penanda aras; anda boleh mendapatkan lebih lebar jalur dengan mudah apabila menggunakan berbilang pelayan GPU, tetapi AI bergantung pada storan dan ia akan kehilangan semua prestasi apabila ia diperlukan Disediakan kepada satu nod GPU. Tetap dengan storan yang boleh menyampaikan prestasi ultra tinggi yang anda perlukan, tetapi lakukannya dalam satu nod storan dan dapat menyampaikan prestasi ini kepada satu nod GPU. Ini mungkin mengehadkan capaian pasaran, tetapi ia adalah keutamaan apabila memulakan perjalanan projek AI anda

Jalur Lebar Rangkaian

Kuasa pengkomputeran yang semakin berkuasa mendorong peningkatan permintaan untuk infrastruktur kecerdasan buatan yang lain. Keperluan lebar jalur telah mencapai tahap yang lebih tinggi, dapat mengurus sejumlah besar data yang dihantar melalui rangkaian daripada peranti storan dan diproses oleh GPU setiap saat. Penyesuai rangkaian (NIC) dalam peranti storan bersambung ke suis dalam rangkaian, yang bersambung kepada penyesuai di dalam pelayan GPU. NIC boleh menyambungkan storan terus kepada NIC dalam 1 atau 2 pelayan GPU tanpa kesesakan jika dikonfigurasikan dengan betul, memastikan lebar jalur cukup tinggi untuk menghantar beban data maksimum daripada storan ke GPU untuk tempoh masa yang berterusan Mengekalkan ketepuan dalam GPU adalah kunci, dan dalam banyak kes kegagalan untuk melakukan ini adalah sebab kami melihat penggunaan GPU yang lebih rendah.

GPU Orchestration

Setelah infrastruktur disediakan, orkestrasi GPU dan alatan peruntukan akan sangat membantu pasukan memasang dan memperuntukkan sumber dengan lebih cekap, memahami penggunaan GPU, menyediakan tahap kawalan sumber yang lebih tinggi dan mengurangkan kesesakan serta menambah baik penggunaan. Alat ini boleh melaksanakan semua tugas ini seperti yang diharapkan hanya jika infrastruktur asas dapat memastikan aliran data yang betul

Dalam bidang kecerdasan buatan, data ialah input utama. Oleh itu, kilat perusahaan tradisional tidak berkaitan dengan AI apabila digunakan untuk aplikasi kritikal misi perusahaan (cth., pelayan pangkalan data kawalan inventori, pelayan e-mel, pelayan sandaran). Penyelesaian ini dibina menggunakan protokol lama, dan walaupun ia telah digunakan semula untuk AI, asas warisan ini mengehadkan prestasi mereka untuk beban kerja GPU dan AI, menaikkan harga dan membazirkan wang untuk ciri yang terlalu mahal dan Tidak Diperlukan

Dengan arus global semasa Kekurangan GPU, ditambah dengan perkembangan pesat industri kecerdasan buatan, mencari cara untuk memaksimumkan prestasi GPU tidak pernah menjadi lebih penting - terutamanya dalam jangka pendek. Apabila projek pembelajaran mendalam berkembang, kaedah ini menjadi beberapa cara utama untuk mengurangkan kos dan meningkatkan output

Atas ialah kandungan terperinci Bagaimana untuk memaksimumkan prestasi GPU. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!