Perhatian media AS: Berapa banyak tenaga yang diperlukan untuk melatih ChatGPT?

Berita pada 10 Mac, AI sekali lagi menjadi topik hangat dalam industri teknologi, dan ia dijangka merevolusikan industri bernilai trilion dolar, daripada runcit kepada industri perubatan. Tetapi mencipta setiap chatbot atau penjana imej baharu memerlukan sejumlah besar tenaga elektrik, yang bermaksud teknologi itu boleh membebaskan sejumlah besar gas rumah hijau, memburukkan lagi pemanasan global.

Microsoft, Google dan pembuat ChatGPT OpenAI semuanya menggunakan pengkomputeran awan, yang bergantung pada beribu-ribu cip dalam pelayan di pusat data besar-besaran di seluruh dunia untuk melatih algoritma AI yang dipanggil model, menganalisis data dan Bantu algoritma ini "mempelajari" cara untuk melaksanakan tugas. Kejayaan ChatGPT telah mendorong syarikat lain untuk berlumba melancarkan sistem AI dan chatbot mereka sendiri, atau membangunkan produk yang menggunakan model AI yang besar.

AI menggunakan lebih banyak tenaga berbanding bentuk pengkomputeran lain, dengan melatih model tunggal yang menggunakan lebih banyak tenaga elektrik daripada penggunaan lebih daripada 100 isi rumah A.S. dalam masa 1 tahun. Walau bagaimanapun, walaupun industri AI berkembang sangat pesat, ia tidak cukup telus sehingga tiada siapa yang mengetahui dengan tepat jumlah penggunaan kuasa dan pelepasan karbon AI. Pelepasan karbon juga boleh berbeza-beza, bergantung pada jenis loji kuasa yang menyediakan tenaga elektrik Pusat data yang dikuasakan oleh arang batu atau gas asli akan mempunyai pelepasan karbon yang jauh lebih tinggi daripada yang dikuasakan oleh tenaga solar atau angin.

Walaupun penyelidik telah mengira pelepasan karbon yang dihasilkan dengan mencipta model tunggal, dan beberapa syarikat telah menyediakan data tentang penggunaan tenaga mereka, mereka tidak memberikan anggaran keseluruhan jumlah penggunaan elektrik teknologi. Sasha Luccioni, seorang penyelidik di syarikat AI Huging Face, menulis kertas mengukur pelepasan karbon syarikatnya Bloom, pesaing kepada model OpenAI GPT-3. Lucioni juga cuba menilai pelepasan karbon OpenAI chatbot ChatGPT berdasarkan set data awam yang terhad.

Tingkatkan ketelusan

Penyelidik seperti Lucioni berkata terdapat keperluan untuk ketelusan yang lebih besar apabila ia berkaitan dengan penggunaan kuasa dan pelepasan model AI. Berbekalkan maklumat ini, kerajaan dan syarikat boleh memutuskan sama ada ia berbaloi menggunakan GPT-3 atau model berskala besar lain untuk mengkaji rawatan kanser atau melindungi bahasa orang asli.

Ketelusan yang lebih baik juga mungkin membawa lebih banyak penelitian, dan industri mata wang kripto mungkin memberi pengajaran dari masa lalu. Bitcoin telah dikritik kerana penggunaan kuasanya yang berlebihan, menggunakan sebanyak tenaga elektrik setiap tahun seperti Argentina, menurut Indeks Penggunaan Elektrik Bitcoin Cambridge. Permintaan rakus untuk elektrik ini mendorong negeri New York untuk meluluskan moratorium dua tahun untuk mengeluarkan lesen kepada pelombong mata wang kripto yang dikuasakan oleh tenaga elektrik yang dijana bahan api fosil.

GPT-3 ialah program AI tujuan umum dengan satu fungsi yang boleh menjana bahasa dan mempunyai banyak kegunaan berbeza. Kertas penyelidikan yang diterbitkan pada tahun 2021 menunjukkan bahawa latihan GPT-3 menggunakan 1.287 gigawatt jam elektrik, yang lebih kurang bersamaan dengan penggunaan elektrik 120 isi rumah Amerika selama satu tahun. Pada masa yang sama, latihan sedemikian menghasilkan 502 tan karbon, bersamaan dengan pelepasan 110 kereta Amerika selama satu tahun. Selain itu, latihan jenis ini hanya terpakai untuk satu program, atau "model."

Walaupun kos elektrik pendahuluan untuk melatih model AI adalah besar, para penyelidik mendapati bahawa dalam beberapa kes ini hanya kira-kira 40% daripada tenaga elektrik yang digunakan oleh model dalam penggunaan sebenar. Di samping itu, model AI semakin besar dan lebih besar. GPT-3 OpenAI menggunakan 175 bilion parameter, atau pembolehubah, manakala pendahulunya hanya menggunakan 1.5 bilion parameter.

OpenAI sudah pun mengusahakan GPT-4, dan model itu mesti dilatih semula dengan kerap untuk mengekalkan pemahamannya tentang peristiwa semasa. Emma Strubell, seorang profesor di Carnegie Mellon University yang merupakan salah seorang penyelidik pertama yang mengkaji masalah tenaga dalam AI, berkata: "Jika anda tidak melatih semula model itu, ia mungkin tidak tahu apa itu COVID-19. "

Satu lagi ukuran relatif datang daripada Google, di mana penyelidik mendapati bahawa latihan AI menyumbang 10% hingga 15% daripada jumlah penggunaan elektrik syarikat pada tahun 2021, iaitu 18.3%. Ini bermakna AI Google menggunakan 2.3 terawatt jam elektrik setahun, yang kira-kira bersamaan dengan penggunaan elektrik tahunan semua isi rumah di Atlanta.

Gergasi teknologi membuat ikrar sifar bersih

Walaupun dalam banyak kes model AI semakin besar, syarikat AI juga sentiasa bertambah baik, menjadikannya Berjalan dengan lebih cekap. Syarikat pengkomputeran awan A.S. terbesar, termasuk Microsoft, Google dan Amazon, semuanya telah membuat pengurangan karbon atau komitmen sifar bersih. Google berkata dalam satu kenyataan bahawa ia akan mencapai pelepasan sifar bersih merentas semua operasi menjelang 2030, dengan matlamat untuk menjalankan pejabat dan pusat datanya sepenuhnya pada tenaga bebas karbon. Google juga menggunakan AI untuk meningkatkan kecekapan tenaga pusat datanya, dengan teknologi mengawal sistem penyejukan secara langsung dalam kemudahan.

OpenAI juga memetik kerja yang telah dilakukan oleh syarikat untuk meningkatkan kecekapan antara muka pengaturcaraan aplikasi ChatGPT, membantu pelanggan mengurangkan penggunaan kuasa dan harga. Jurucakap OpenAI berkata: “Kami mengambil tanggungjawab kami untuk menghentikan dan membalikkan perubahan iklim dengan sangat serius dan kami banyak memikirkan cara untuk memaksimumkan kuasa pengkomputeran kami berjalan di Azure dan kami bekerjasama rapat dengan pasukan Microsoft untuk Meningkatkan kecekapan dan mengurangkan karbon pelepasan apabila menjalankan model bahasa yang besar

Microsoft menyatakan bahawa syarikat itu membeli tenaga boleh diperbaharui dan mengambil langkah lain untuk mencapai matlamat yang diumumkan sebelum ini untuk mencapai pelepasan sifar bersih menjelang 2030. Microsoft berkata dalam satu kenyataan: "Sebagai sebahagian daripada komitmen kami untuk mencipta masa depan yang lebih mampan, Microsoft melabur dalam penyelidikan untuk mengukur penggunaan tenaga dan impak karbon AI, sambil berusaha untuk meningkatkan kecekapan sistem berskala besar dalam latihan dan aplikasi. . "

Roy Schwartz, seorang profesor di Universiti Hebrew Jerusalem, bekerja dengan pasukan di Microsoft untuk mengukur jejak karbon model AI yang besar. Beliau berkata: "Jelas sekali, syarikat-syarikat ini tidak mahu mendedahkan model yang mereka gunakan dan berapa banyak karbon yang dikeluarkan olehnya."

Terdapat cara untuk menjadikan AI berjalan dengan lebih cekap. Ben Hertz-Shargel dari perundingan tenaga Wood Mackenzie berkata kerana latihan AI boleh berlaku pada bila-bila masa, pembangun atau pusat data boleh menjadualkan latihan untuk masa elektrik lebih murah atau lebihan, membolehkan Operasi mereka lebih mesra alam. Syarikat AI melatih model mereka pada masa kuasa berlebihan, yang kemudiannya boleh mereka gunakan sebagai titik jualan dalam pemasaran mereka untuk menunjukkan bahawa mereka mementingkan alam sekitar.

Operasi cip menggunakan jumlah kuasa yang menakjubkan

Kebanyakan pusat data menggunakan unit pemprosesan grafik (GPU) untuk melatih model AI, dan komponen ini adalah yang paling haus kuasa komponen yang dibuat oleh industri cip Salah satu komponen. Laporan yang dikeluarkan oleh penganalisis Morgan Stanley awal bulan ini mengatakan bahawa model besar memerlukan puluhan ribu GPU dan kitaran latihan boleh berkisar dari minggu ke bulan.

Salah satu misteri yang lebih besar dalam AI ialah jumlah pelepasan karbon yang dikaitkan dengan cip yang digunakan. Nvidia, pembuat GPU terbesar, mengatakan bahawa apabila ia berkaitan dengan tugas AI, cipnya boleh menyelesaikan tugas dengan lebih cepat dan lebih cekap secara keseluruhan.

Nvidia berkata dalam kenyataan itu: "Menggunakan GPU untuk mempercepatkan AI adalah lebih pantas dan lebih cekap daripada menggunakan CPU. Bagi sesetengah beban kerja AI, kecekapan tenaga selalunya boleh dipertingkatkan sebanyak 20 kali ganda, dan untuk sesetengah beban kerja AI, kecekapan tenaga selalunya boleh dipertingkatkan sebanyak 20 kali ganda Model bahasa berskala besar yang penting untuk kecerdasan buatan moden boleh meningkatkan kecekapan tenaga sebanyak 300 kali ganda "

Lucioni berkata walaupun Nvidia telah mendedahkan data pelepasan langsung dan tidak langsung. tenaga, syarikat Tiada butiran lanjut didedahkan. Dia percaya bahawa apabila Nvidia berkongsi maklumat ini, kami mungkin mendapati GPU menggunakan lebih kurang jumlah kuasa yang sama seperti sebuah negara kecil, "yang mungkin menyebabkan orang gila"! (Sedikit)

Atas ialah kandungan terperinci Perhatian media AS: Berapa banyak tenaga yang diperlukan untuk melatih ChatGPT?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!