Rumah > Artikel > Peranti teknologi > Kerja inovatif pasukan Chen Danqi: Dapatkan SOTA pada kos 5%, mencetuskan kegilaan untuk kaedah 'menggunting alpaca'
Ia hanya menggunakan 3% daripada jumlah pengiraan dan 5% daripada kos untuk mendapatkan SOTA, mendominasi model besar sumber terbuka skala 1B-3B.
Hasil ini datang daripada pasukan Princeton Chen Danqi, dan dipanggil LLM-ShearingKaedah Pemangkasan Model Besar.
Berdasarkan Alpaca LLaMA 2 7B, model 1.3B dan 3B yang dipangkas Sheared-LLama diperolehi melalui pemangkasan berstruktur arah.
Untuk mengatasi model sebelumnya dengan skala yang sama dalam penilaian tugasan hiliran, ia perlu ditulis semula
Xia Mengzhou, pengarang pertama, berkata, "Ia jauh lebih menjimatkan kos daripada pra-latihan dari awal."
Kertas ini juga memberikan contoh keluaran Sheared-LLaMA yang dipangkas, menunjukkan bahawa walaupun saiznya hanya 1.3B dan 2.7B, ia sudah boleh menjana respons yang koheren dan kaya.
Untuk tugas yang sama "memainkan peranan sebagai penganalisis industri semikonduktor", struktur jawapan versi 2.7B adalah lebih jelas.
Pasukan menyatakan bahawa walaupun pada masa ini hanya versi Llama 2 7B telah digunakan untuk eksperimen pemangkasan, kaedah boleh diperluaskan kepada seni bina model lain dan juga boleh dilanjutkan kepada sebarang skala .
Faedah tambahan selepas pemangkasan ialah anda boleh memilih set data berkualiti tinggi untuk pra-latihan berterusan Sesetengah pembangun mengatakan bahawa hanya 6 bulan yang lalu, hampir semua orang berpendapat bahawa model di bawah 65B tidak mempunyai Kegunaan PraktikalPada kadar ini, saya yakin model 1B-3B juga akan bernilai tinggi, jika bukan sekarang, maka tidak lama lagi. . Kaedah pemangkasan sebelum ini boleh menyebabkan kemerosotan prestasi model kerana sesetengah struktur akan dipadamkan, menjejaskan keupayaan ekspresifnya
Dengan menganggap pemangkasan sebagai masalah pengoptimuman yang terhad, kami mencadangkan kaedah baharu. Kami mencari subrangkaian yang sepadan dengan struktur yang ditentukan dengan mempelajari matriks topeng pemangkasan, dan bertujuan untuk memaksimumkan prestasi
Seterusnya, kami terus melatih model pangkas dan memulihkan pemangkasan ke tahap tertentu kehilangan prestasi yang disebabkan. Pada peringkat ini, pasukan mendapati model yang dipangkas dan model yang dilatih dari awal mempunyai kadar pengurangan kerugian yang berbeza untuk set data yang berbeza, mengakibatkan masalah kecekapan penggunaan data yang rendah. Untuk tujuan ini, pasukan mencadangkan
Pemuatan Kelompok Dinamik
(Pemuatan Kelompok Dinamik), yang melaraskan perkadaran data dalam setiap domain secara dinamik mengikut kadar pengurangan kehilangan model pada data domain yang berbeza, meningkatkan kecekapan penggunaan data.
Kajian mendapati bahawa walaupun model pemangkasan mempunyai prestasi awal yang lemah berbanding model bersaiz setara yang dilatih dari awal, mereka boleh bertambah baik dengan cepat dengan pra-latihan berterusan dan akhirnya mengatasi
Ini menunjukkan bahawa pemangkasan daripada cabang model asas yang kukuh , yang boleh menyediakan keadaan permulaan yang lebih baik untuk meneruskan pra-latihan.
xia Mengzhou, gao tianyu, Tsinghua zhiyuan Zeng, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, penolong profesor Chen Dan琦 . Xia Mengzhou lulus dari Universiti Fudan dengan ijazah sarjana muda dan CMU dengan ijazah sarjana.
Gao Tianyu ialah seorang sarjana yang lulus dari Universiti Tsinghua Dia memenangi Hadiah Khas Tsinghua pada tahun 2019
Kedua-duanya adalah pelajar Chen Danqi, dan Chen Danqi kini merupakan penolong profesor di Princeton University dan ahli Princeton Natural. Kumpulan Pemprosesan Bahasa Ketua bersama
Baru-baru ini, di halaman utama peribadinya, Chen Danqi mengemas kini hala tuju penyelidikannya.
"Tempoh ini tertumpu terutamanya pada membangunkan model berskala besar, dan topik penyelidikan termasuk: "
Bagaimana pengambilan semula boleh memainkan peranan penting dalam model generasi akan datang, meningkatkan realisme, kebolehsuaian, kebolehtafsiran dan kredibiliti.Sheared-Llama sudah tersedia di Hugging Face
Pasukan berkata bahawa mereka akan terus mengemas kini perpustakaan sumber terbuka
Apabila lebih banyak model besar dikeluarkan, potong satu demi satu dan teruskan keluarkan model kecil berprestasi tinggi .
One More Thing
Mengzhou Xia baru sahaja mengeluarkan pembetulan, menyatakan bahawa teknologi SOTA digunakan semasa menulis kertas, tetapi selepas kertas itu siap, ia telah diatasi oleh teknologi Stable-LM-3B terkini
Alamat kertas: https: //arxiv.org/abs/2310.06694Muka Berpeluk: https://huggingface.co/princeton-nlp
Pautan halaman utama projek: https://xiamengzhou.github.io/sheared-llama/
Atas ialah kandungan terperinci Kerja inovatif pasukan Chen Danqi: Dapatkan SOTA pada kos 5%, mencetuskan kegilaan untuk kaedah 'menggunting alpaca'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!