Adakah penalaan halus model besar perlu bergantung pada data manusia? DeepMind: Latihan kendiri dengan maklum balas adalah lebih baik

Menghadapi amalan biasa semasa memperhalusi model besar terutamanya bergantung pada data yang dijana manusia, Google DeepMind telah meneroka cara yang lebih cekap untuk mengurangkan pergantungan ini.

Seperti yang anda dan saya lihat, Model Bahasa Besar (LLM) sedang mengubah landskap pembelajaran mendalam, menunjukkan keupayaan unggul dalam menjana teks berkualiti manusia dan menyelesaikan pelbagai tugas bahasa. Walaupun industri telah meningkatkan lagi prestasi pada tugas tertentu melalui penyeliaan halus data yang dikumpul manusia, mendapatkan data manusia berkualiti tinggi menghadapi kesesakan yang ketara. Ini adalah benar terutamanya untuk tugas yang melibatkan penyelesaian masalah yang kompleks, memerlukan sumber dan kepakaran yang besar.

Bagaimana untuk menyelesaikannya? Data sintetik yang dijana oleh model adalah alternatif yang menjanjikan yang boleh berskala dan menjimatkan kos selagi kualiti data dikekalkan.

Walaupun LLM dapat menilai sendiri data yang dijana, dalam kertas kerja ini, Google DeepMind meneroka persediaan yang lebih mudah yang menggunakan isyarat maklum balas skalar luaran sebagai penunjuk kualiti untuk setiap sampel yang dijana.

Alamat kertas: https://arxiv.org/pdf/2312.06585.pdf

Untuk mengkaji latihan mengenai data yang dijana model, para penyelidik menganggap latihan kendiri model bahasa yang mudah tetapi berkuasa. kaedah hanya memerlukan dua fungsi, satu adalah untuk menghasilkan sampel berdasarkan model, dan satu lagi adalah menggunakan mekanisme pemarkahan untuk menilai sampel ini.

Untuk memastikan kejelasan dan konsistensi, penyelidik mengamalkan kaedah latihan kendiri pengukuhan ReST^??, dan membuktikan kaedah ini boleh menggunakan pemaksima jangkaan (EM) untuk pembelajaran pengukuhan. Khususnya, ReST^??

1. Penjanaan (E-langkah): Model bahasa menjana berbilang sampel output untuk setiap konteks input, dan kemudian menapis sampel ini menggunakan ganjaran binari untuk mengumpul set data latihan.
2. Penambahbaikan (M-step): Model bahasa asal diselia diperhalusi pada set data latihan daripada E-step sebelumnya dan kemudian digunakan dalam E-step seterusnya.

Penyelidik mengesahkan bahawa ReST^?? dan variannya telah berjaya meningkatkan model bahasa dalam pelbagai bidang, termasuk terjemahan mesin, analisis semantik, penjajaran keutamaan dan penaakulan asas.

Selain itu, kerja sebelum ini terutamanya menggunakan ReST^??untuk model yang agak kecil (sehingga 7 bilion parameter), dengan skalabiliti terhad untuk model yang lebih besar. Oleh itu, kertas kerja ini bertujuan untuk meneroka keberkesanan dan skalabiliti data sintetik yang dijana model berbanding data yang dijana manusia dalam dua bidang yang mencabar tetapi kurang dikaji: Penyelesaian Masalah Matematik pada Tahap Kompetitif (MATH) dan penjanaan kod (APPS).

Hasil empirikal menunjukkan bahawa apabila menggunakan ReST^?? untuk model PaLM 2 dengan saiz yang berbeza, peningkatan prestasi yang ketara dicapai dalam tugasan penaakulan matematik dan penjanaan kod. Model yang diperhalusi pada data sintetik yang dijana oleh model mencapai peningkatan prestasi yang lebih besar daripada model yang dilatih pada data tulisan manusia. Menariknya, prestasi menurun melebihi bilangan lelaran ReST^??

Selain itu, model ini diperhalusi menggunakan ReST^?? metrik lulus@k dan prestasi undian majoriti. Model yang diperhalusi ini juga menunjukkan peningkatan prestasi pada penanda aras yang relevan tetapi diketepikan, termasuk matematik (akhir GSM8K dan HS Hungary), pengekodan (HumanEval) dan tugasan Big-Bench Hard.

Ringkasnya, hasil kertas kerja ini menunjukkan bahawa latihan kendiri dengan maklum balas adalah kaedah yang menjanjikan untuk mengurangkan pergantungan pada data manusia. . . Secara khusus, mereka mula-mula mentakrifkan pembolehubah optimum binari O supaya ?(?= 1|?,?)∝?(?(?,?)); kemudian untuk fungsi tidak menurun ?: ℝ → ℝ+, mereka mencapai Memaksimumkan pemerhatian?= 1 (mendapat ganjaran yang tinggi), formula berikut diperolehi:

Walau bagaimanapun, menyelesaikan hasil tambah jujukan dalam persamaan di atas adalah sukar. Oleh itu, kertas ini mempertimbangkan untuk memaksimumkan ELBO ?( ??, ?) berkenaan dengan parameter ? dan taburan variasi ?( ?|?) dan bukannya memaksimumkan log ?(? = 1; ?). Khususnya:

Algoritma EM dalam formula (2) berselang-seli antara E-step (Expectation) dan M-step (Maximization).

ReST^??: Diilhamkan oleh rangka kerja EM, kertas kerja seterusnya membincangkan versi ringkas kaedah ReST yang dicadangkan oleh Gulcehre et al. Untuk kejelasan, artikel ini memanggil pendekatan ini ReST^??, yang memisahkan pengumpulan data (E-step) dan pengoptimuman dasar (M-step) dalam saluran paip RL. Seperti yang ditunjukkan dalam Algoritma 1:

Generasi (E-step) : Dalam langkah ini, kajian menjana set data dengan mengambil sampel jujukan output daripada dasar semasa . Di sini, input disampel semula daripada set data asal . Urutan output dalam kemudiannya dijaringkan menggunakan fungsi ganjaran binari ?(?, ?).

Peningkatan (M-step) : Dalam lelaran ?, kajian menggunakan set data baharu dalam E-step untuk memperhalusi strategi ??. Tidak seperti kajian Gulcehre, mereka memperhalusi model bahasa pra-latihan asas untuk meminimumkan overfitting khusus tugas dan meminimumkan penyelewengan daripada model asas. Untuk penalaan halus, kajian ini meminimumkan kerugian kemungkinan log negatif wajaran ganjaran . Setelah strategi dipertingkatkan, set data baharu dengan sampel kualiti yang lebih baik boleh dibuat semula.

Experiments and Analysis

Matlamat utama menjalankan eksperimen dalam kertas ini adalah untuk menjawab soalan-soalan berikut:

1. Bagaimana yang berkesan adalah REST^? pada data yang dihasilkan manusia?
2. Berapa banyak lelaran yang diperlukan untuk mendapatkan prestasi terbaik? ReST^??Berapa lama masa yang diperlukan untuk melebihkan set latihan?
3. ReST^??Bagaimanakah ia mempengaruhi prestasi undian pas@k dan majoriti?
4. Jika pengguna menggunakan data yang dijana oleh model untuk penalaan halus pada tugasan tertentu, adakah ia akan dipindahkan ke tugasan lain? Apabila menilai model kami yang diperhalusi pada pelbagai tugas, adakah prestasi merosot berbanding model asas?
5. Anggaran berapa banyak data input yang diperlukan untuk mendapatkan kebanyakan keuntungan prestasi daripada ReST^??? Adakah satu lelaran ReST^ cukup?

Kajian ini menjalankan eksperimen menggunakan model PaLM 2 dan API awam di Google Cloud, termasuk PaLM 2-S (Bison), PaLM 2-S* (Codey) dan PaLM 2-L (Unicorn). Set data latihan menggunakan set data MATH dan set data APPS.

Rajah 2 dan Rajah 3 menunjukkan prestasi ReST^?? dilatih pada set data MATH dan APPS masing-masing. Dapat disimpulkan bahawa MATH mendapat manfaat daripada pelbagai lelaran ReST^??, baik dari segi prestasi pada set ujian MATH dan pemindahan ke GSM8K. Sebaliknya, dapat dilihat bahawa kebanyakan keuntungan untuk APPS datang daripada lelaran pertama, sementara melakukan lebih banyak lelaran mengakibatkan kemerosotan prestasi untuk APPS dan HumanEval.

Jurang antara latihan dan prestasi ujian. Rajah 4 menunjukkan bahawa walaupun prestasi set latihan meningkat secara linear dengan bilangan lelaran ReST^??, prestasi set ujian tidak. Untuk MATH, sedikit peningkatan dalam prestasi ujian diperhatikan selepas lelaran pertama, manakala untuk APPS, regresi prestasi diperhatikan dalam lelaran kedua. Kajian itu membuat spekulasi bahawa regresi dalam prestasi mungkin disebabkan oleh overfitting. Memandangkan set data APPS adalah kira-kira satu pertiga saiz set data MATH, ia lebih mudah terdedah kepada masalah ini.

Rajah 5 menunjukkan prestasi model Palm-2-L pada metrik pass@K. Keputusan menunjukkan bahawa model ReST^?? yang diperoleh selepas penalaan halus adalah lebih kukuh untuk semua nilai K, dengan jurang prestasi secara amnya terbesar pada K=1.

Atas ialah kandungan terperinci Adakah penalaan halus model besar perlu bergantung pada data manusia? DeepMind: Latihan kendiri dengan maklum balas adalah lebih baik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!