Algoritma AI baharu diumumkan: kuasa dikurangkan kepada 1/50 konfigurasi konvensional, penggunaan memori dikurangkan kepada 1/10

Menurut berita dari laman web ini pada 27 Jun, pasukan penyelidik dari University of California, Santa Cruz telah membangunkan kaedah baharu yang boleh menjalankan bahasa besar dengan skala 1 bilion parameter menggunakan hanya 13W kuasa (bersamaan dengan kuasa daripada mentol lampu LED moden) Model. Sebagai perbandingan, GPU gred pusat data untuk tugas model bahasa yang besar memerlukan kira-kira 700W.

Di bawah gelombang AI, hala tuju penyelidikan utama banyak syarikat dan institusi adalah aplikasi dan penaakulan, dan penunjuk seperti kecekapan jarang dipertimbangkan. Untuk mengurangkan keadaan ini, penyelidik menghapuskan teknik intensif pendaraban matriks dan mencadangkan penyelesaian "ternion", yang hanya mempunyai tiga nilai negatif satu, sifar, atau satu positif.

Pasukan itu juga mencipta perkakasan tersuai menggunakan litar tersuai tinggi yang dipanggil tatasusunan get boleh atur cara medan (FPGA), membolehkan mereka memaksimumkan semua ciri penjimatan tenaga dalam rangkaian saraf.

Apabila berjalan pada perkakasan tersuai, prestasi yang sama seperti model teratas seperti Meta's Llama boleh dicapai, tetapi dengan satu per lima puluh kuasa rangkaian saraf konfigurasi konvensional.

Reka bentuk rangkaian saraf ini juga boleh digunakan untuk dijalankan pada GPU standard yang biasa digunakan dalam industri kecerdasan buatan Keputusan ujian menunjukkan bahawa berbanding dengan rangkaian saraf berdasarkan pendaraban matriks, penggunaan memori hanya satu persepuluh.

Alamat rujukan dilampirkan pada tapak ini

Penyelidik menjalankan model bahasa besar berprestasi tinggi pada tenaga yang diperlukan untuk menyalakan mentol

Pemodelan Bahasa Bebas MatMul boleh skala

Atas ialah kandungan terperinci Algoritma AI baharu diumumkan: kuasa dikurangkan kepada 1/50 konfigurasi konvensional, penggunaan memori dikurangkan kepada 1/10. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!