Fikiran dingin di bawah kegilaan ChatGPT: Penggunaan tenaga AI pada 2025 mungkin melebihi penggunaan manusia, dan pengkomputeran AI perlu meningkatkan kualiti dan kecekapan

​Selepas bertahun-tahun pembangunan, sistem AI generatif DALL-E dan GPT-3 yang dilancarkan oleh OpenAI telah menjadi popular di seluruh dunia dan pada masa ini menonjolkan potensi aplikasi mereka yang menakjubkan. Walau bagaimanapun, terdapat masalah dengan letupan AI generatif ini: setiap kali DALL-E mencipta imej atau GPT-3 meramalkan perkataan seterusnya, ia memerlukan berbilang pengiraan inferens, sekali gus mengambil banyak sumber dan Menggunakan lebih banyak elektrik. Seni bina GPU dan CPU semasa tidak dapat beroperasi dengan cekap untuk memenuhi permintaan pengkomputeran yang akan berlaku, mewujudkan cabaran besar untuk pengendali pusat data skala besar.

Institusi penyelidikan meramalkan bahawa pusat data telah menjadi pengguna tenaga terbesar di dunia, menyumbang 3% daripada jumlah penggunaan elektrik pada 2017, meningkat kepada 4.5% pada 2025. %. Mengambil China sebagai contoh, penggunaan elektrik pusat data yang beroperasi di seluruh negara dijangka melebihi 400 bilion kWj pada 2030, menyumbang 4% daripada jumlah penggunaan elektrik negara.

Pembekal pengkomputeran awan juga menyedari bahawa pusat data mereka menggunakan sejumlah besar tenaga elektrik dan telah mengambil langkah untuk meningkatkan kecekapan, seperti membina dan mengendalikan pusat data di Artik untuk memanfaatkan tenaga boleh diperbaharui dan keadaan penyejukan semula jadi. Walau bagaimanapun, ini tidak mencukupi untuk memenuhi pertumbuhan pesat aplikasi AI.

Makmal Kebangsaan Lawrence Berkeley di Amerika Syarikat mendapati dalam penyelidikan bahawa peningkatan dalam kecekapan pusat data telah mengawal pertumbuhan penggunaan tenaga sejak 20 tahun lalu, tetapi penyelidikan menunjukkan bahawa langkah kecekapan tenaga semasa mungkin tidak mencukupi untuk memenuhi keperluan pusat data masa hadapan, oleh itu pendekatan yang lebih baik diperlukan.

Penghantaran data ialah kesesakan yang membawa maut

Punca kecekapan terletak pada cara GPU dan CPU berfungsi, terutamanya apabila menjalankan model inferens AI dan model latihan. Ramai orang memahami "melangkaui Undang-undang Moore" dan batasan fizikal untuk membungkus lebih banyak transistor pada saiz cip yang lebih besar. Cip yang lebih maju membantu menyelesaikan cabaran ini, tetapi penyelesaian semasa mempunyai kelemahan utama apabila ia datang kepada inferens AI: kelajuan berkurangan dengan ketara di mana data boleh dipindahkan dalam memori akses rawak.

Secara tradisinya, mengasingkan pemproses dan cip memori adalah lebih murah, dan selama bertahun-tahun, kelajuan jam pemproses telah menjadi faktor pengehad utama dalam prestasi komputer. Hari ini, apa yang menghalang kemajuan ialah hubungan antara cip.

Jeff Shainline, seorang penyelidik di Institut Piawaian dan Teknologi Kebangsaan (NIST), menjelaskan: "Apabila memori dan pemproses dipisahkan, pautan komunikasi yang menghubungkan dua domain menjadi halangan utama sistem." Jack Dongarra, seorang penyelidik di Oak Ridge National Laboratory di Amerika Syarikat, berkata dengan ringkas: "Apabila kita melihat prestasi komputer hari ini, kita dapati penghantaran data adalah kesesakan yang membawa maut." inferens vs. latihan AI

Sistem AI menggunakan jenis pengiraan yang berbeza apabila melatih model AI berbanding menggunakan model AI untuk membuat ramalan. Latihan AI memuatkan puluhan ribu sampel imej atau teks ke dalam model berasaskan Transformer sebagai rujukan, dan kemudian mula memproses. Beribu-ribu teras dalam GPU memproses set data yang besar dan kaya seperti imej atau video dengan sangat cekap, dan jika anda memerlukan hasil yang lebih cepat, lebih banyak GPU berasaskan awan boleh disewa.

Walaupun inferens AI memerlukan lebih sedikit tenaga untuk melakukan pengiraan, dalam pelengkapan automatik oleh ratusan juta pengguna, banyak pengiraan dan ramalan diperlukan untuk menentukan perkataan yang seterusnya Apa, ini menggunakan lebih banyak tenaga daripada latihan jangka panjang.

Sebagai contoh, sistem AI Facebook memerhatikan trilion inferens dalam pusat datanya setiap hari, jumlah yang meningkat lebih daripada dua kali ganda dalam tempoh tiga tahun yang lalu. Penyelidikan telah mendapati bahawa menjalankan inferens terjemahan bahasa pada model bahasa besar (LLM) menggunakan dua hingga tiga kali lebih banyak tenaga daripada latihan awal.

Lonjakan permintaan menguji kecekapan pengkomputeran

ChatGPT menjadi popular di seluruh dunia pada penghujung tahun lalu, dan GPT-4 lebih mengagumkan. Jika kaedah yang lebih cekap tenaga boleh diterima pakai, inferens AI boleh diperluaskan kepada rangkaian peranti yang lebih luas dan mencipta cara pengkomputeran baharu.

Sebagai contoh, Gelung Hibrid Microsoft direka untuk membina pengalaman AI yang memanfaatkan pengkomputeran awan dan peranti tepi secara dinamik Ini membolehkan pembangun membuat keputusan peringkat akhir semasa menjalankan inferens AI pada platform awan Azure, komputer pelanggan tempatan. atau peranti mudah alih mengikat keputusan untuk memaksimumkan kecekapan. Facebook memperkenalkan AutoScale untuk membantu pengguna membuat keputusan dengan cekap di mana untuk mengira inferens pada masa jalan.

Untuk meningkatkan kecekapan, adalah perlu untuk mengatasi halangan yang menghalang pembangunan AI dan mencari kaedah yang berkesan.

Pensampelan dan saluran paip boleh mempercepatkan pembelajaran mendalam dengan mengurangkan jumlah data yang diproses. SALIENT (untuk Persampelan, Penghirisan dan Pergerakan Data) ialah pendekatan baharu yang dibangunkan oleh penyelidik di MIT dan IBM untuk menangani kesesakan kritikal. Pendekatan ini boleh mengurangkan dengan ketara keperluan untuk menjalankan rangkaian saraf pada set data besar yang mengandungi 100 juta nod dan 1 bilion tepi. Tetapi ia juga menjejaskan ketepatan dan ketepatan—yang boleh diterima untuk memilih siaran sosial seterusnya untuk dipaparkan, tetapi tidak jika cuba mengenal pasti keadaan tidak selamat di tapak kerja dalam masa hampir nyata.

Syarikat teknologi seperti Apple, Nvidia, Intel dan AMD telah mengumumkan penyepaduan enjin AI khusus ke dalam pemproses, malah AWS sedang membangunkan pemproses Inferentia 2 baharu. Tetapi penyelesaian ini masih menggunakan seni bina pemproses von Neumann tradisional, SRAM bersepadu dan memori DRAM luaran - semuanya memerlukan lebih kuasa untuk memindahkan data masuk dan keluar dari memori.

Pengkomputeran dalam memori mungkin penyelesaiannya

Selain itu, penyelidik telah menemui cara lain untuk memecahkan "dinding memori", iaitu mendekatkan pengkomputeran Memori.

Dinding memori merujuk kepada halangan fizikal yang mengehadkan kelajuan data masuk dan keluar dari memori Ini adalah had asas seni bina tradisional. Pengkomputeran dalam memori (IMC) menyelesaikan cabaran ini dengan menjalankan pengiraan matriks AI terus dalam modul memori, mengelakkan overhed penghantaran data melalui bas memori.

IMC sesuai untuk inferens AI kerana ia melibatkan set data berwajaran yang agak statik tetapi besar yang boleh diakses berulang kali. Walaupun sentiasa terdapat beberapa input dan output data, AI menghapuskan banyak perbelanjaan pemindahan tenaga dan kependaman pergerakan data dengan mengekalkan data dalam unit fizikal yang sama supaya ia boleh digunakan dengan cekap dan digunakan semula untuk berbilang pengiraan.

Pendekatan ini meningkatkan kebolehskalaan kerana ia berfungsi dengan baik dengan reka bentuk cip. Dengan cip baharu, teknologi inferens AI boleh diuji pada komputer pembangun dan kemudian digunakan ke persekitaran pengeluaran melalui pusat data. Pusat data boleh menggunakan kumpulan peralatan yang besar dengan banyak pemproses cip untuk menjalankan model AI peringkat perusahaan dengan cekap.

Dari masa ke masa, IMC dijangka menjadi seni bina dominan untuk kes penggunaan inferens AI. Ini sangat masuk akal apabila pengguna berurusan dengan set data besar-besaran dan trilion pengiraan. Kerana tiada lagi sumber terbuang untuk memindahkan data antara dinding memori, dan pendekatan ini boleh dipertingkatkan dengan mudah untuk memenuhi keperluan jangka panjang.

Ringkasan:

Industri AI kini berada di titik perubahan yang menarik. Kemajuan teknologi dalam AI generatif, pengecaman imej dan analitik data mendedahkan sambungan dan kegunaan unik untuk pembelajaran mesin, tetapi terlebih dahulu penyelesaian teknologi yang boleh memenuhi keperluan ini perlu dibina. Kerana menurut ramalan Gartner, melainkan lebih banyak pilihan yang mampan tersedia sekarang, AI akan menggunakan lebih banyak tenaga daripada aktiviti manusia menjelang 2025. Perlu memikirkan cara yang lebih baik sebelum ini berlaku!

Atas ialah kandungan terperinci Fikiran dingin di bawah kegilaan ChatGPT: Penggunaan tenaga AI pada 2025 mungkin melebihi penggunaan manusia, dan pengkomputeran AI perlu meningkatkan kualiti dan kecekapan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!