"Sanjungan" adalah perkara biasa dalam model RLHF dan tiada siapa yang kebal daripada Claude kepada GPT-4

Sama ada anda berada dalam bulatan AI atau medan lain, anda mempunyai lebih kurang menggunakan model bahasa besar (LLM) Apabila semua orang memuji pelbagai perubahan yang dibawa oleh LLM, model besar Beberapa kelemahan didedahkan secara beransur-ansur.

Sebagai contoh, suatu ketika dahulu, Google DeepMind mendapati bahawa LLM secara amnya mempunyai tingkah laku "sycophantic" manusia, iaitu kadangkala pendapat pengguna manusia secara objektif tidak betul , dan model itu juga Akan melaraskan responsnya untuk mengikuti perspektif pengguna. Seperti yang ditunjukkan dalam rajah di bawah, pengguna memberitahu model 1+1=956446, dan model itu mengikut arahan manusia dan percaya bahawa jawapan ini betul.

Sumber imej https://arxiv.org/abs/2308.03958

#🎜#sebenar🎜##🎜🎜🎜 Fenomena ini biasanya berlaku dalam banyak model AI. Apakah sebabnya? Penyelidik dari Anthropic permulaan AI menganalisis fenomena ini Mereka percaya bahawa "sanjungan" adalah tingkah laku biasa model RLHF, sebahagiannya disebabkan oleh keutamaan manusia untuk respons "sanjungan".

Alamat kertas: https://arxiv.org/pdf/2310.13548.pdf#🎜🎜 🎜#

Seterusnya mari kita lihat proses penyelidikan khusus.

Pembantu AI seperti GPT-4 dilatih untuk menghasilkan jawapan yang lebih tepat, dan sebahagian besar daripada mereka menggunakan RLHF. Penalaan halus model bahasa menggunakan RLHF meningkatkan kualiti output model, yang dinilai oleh manusia. Walau bagaimanapun, sesetengah penyelidikan percaya bahawa kaedah latihan berdasarkan pertimbangan keutamaan manusia adalah tidak diingini Walaupun model itu boleh menghasilkan output yang menarik kepada penilai manusia, ia sebenarnya cacat atau tidak betul. Pada masa yang sama, kerja baru-baru ini juga telah menunjukkan bahawa model yang dilatih tentang RLHF cenderung untuk memberikan jawapan yang konsisten dengan pengguna.

Untuk lebih memahami fenomena ini, kajian itu mula-mula meneroka sama ada pembantu AI dengan prestasi SOTA akan menyediakan model "puji" dalam pelbagai persekitaran dunia nyata Sebagai tindak balas, ia didapati bahawa lima pembantu SOTA AI yang dilatih oleh RLHF menunjukkan corak "sanjungan" yang konsisten dalam tugas penjanaan teks bentuk bebas. Memandangkan sanjungan nampaknya merupakan tingkah laku biasa untuk model terlatih RLHF, artikel ini turut meneroka peranan keutamaan manusia dalam jenis tingkah laku ini.

Artikel ini turut meneroka sama ada "sanjungan" yang wujud dalam data keutamaan akan membawa kepada "sanjungan" dalam model RLHF, dan mendapati bahawa lebih banyak pengoptimuman akan meningkatkan beberapa bentuk "sanjungan", tetapi dengan mengorbankan bentuk "sanjungan" yang lain.

Dasar dan kesan "sanjungan" model besar

Untuk menilai tahap "sanjungan" model besar, dan untuk menganalisis kesan ke atas penjanaan realiti, kajian itu menanda aras tahap "menyanjung" model besar yang dikeluarkan oleh Anthropic, OpenAI dan Meta.

Secara khusus, kajian ini mencadangkan penanda aras penilaian SycophancyEval. SycophancyEval melanjutkan penanda aras penilaian "sanjungan" model besar sedia ada. Dari segi model, kajian ini secara khusus menguji 5 model, termasuk: claude-1.3 (Anthropic, 2023), claude-2.0 (Anthropic, 2023), GPT-3.5-turbo (OpenAI, 2022), GPT-4 (OpenAI, 2023). ), llama-2-70b-chat (Touvron et al., 2023).

Pilihan pengguna yang menyanjung

#🎜🎜 apabila permintaan pengguna yang besar untuk perenggan Apabila teks perbahasan memberikan maklum balas berbentuk bebas, kualiti hujah secara teorinya bergantung hanya pada kandungan hujah Walau bagaimanapun, kajian mendapati bahawa model besar memberikan maklum balas yang lebih positif untuk hujah yang disukai pengguna dan lebih banyak maklum balas negatif hujah yang tidak disukai pengguna.

Seperti yang ditunjukkan dalam Rajah 1 di bawah, maklum balas model besar pada perenggan teks bukan sahaja bergantung pada kandungan teks, tetapi juga dipengaruhi oleh pilihan pengguna.

Mudah terpengaruh

#🎜 🎜 🎜#Kajian mendapati bahawa walaupun model besar memberikan jawapan yang tepat dan mengatakan mereka yakin dengan jawapan tersebut, mereka sering mengubah suai jawapan mereka apabila disoal oleh pengguna, memberikan maklumat yang salah. Oleh itu, "sanjungan" boleh merosakkan kredibiliti dan kebolehpercayaan respons model besar.

Berikan jawapan yang konsisten dengan kepercayaan pengguna

Kajian mendapati bahawa untuk tugasan soalan dan jawapan terbuka, model besar cenderung memberikan jawapan yang konsisten dengan kepercayaan pengguna. Sebagai contoh, dalam Rajah 3 di bawah, tingkah laku "sanjungan" ini mengurangkan ketepatan LLaMA 2 sebanyak 27%.

meniru kesilapan pengguna

Untuk menguji sama ada model besar mengulangi kesilapan pengguna, kajian itu meneroka sama ada model besar salah memberikan pengarang puisi. Seperti yang ditunjukkan dalam Rajah 4 di bawah, walaupun model besar boleh menjawab pengarang puisi yang betul, ia akan menjawab salah kerana pengguna memberikan maklumat yang salah.

Memahami Sanjungan dalam Model Bahasa

Kajian mendapati bahawa berbilang model besar menunjukkan tingkah laku "sanjungan" yang konsisten dalam persekitaran dunia nyata yang berbeza, jadi ada spekulasi bahawa ini mungkin disebabkan oleh penalaan halus RLHF . Oleh itu, kajian ini menganalisis data keutamaan manusia yang digunakan untuk melatih model keutamaan (PM).

Seperti yang ditunjukkan dalam Rajah 5 di bawah, kajian ini menganalisis data keutamaan manusia dan meneroka ciri yang boleh meramalkan pilihan pengguna.

Hasil eksperimen menunjukkan bahawa, perkara lain yang sama, tingkah laku "sanjungan" dalam tindak balas model meningkatkan kebarangkalian bahawa manusia akan memilih tindak balas tersebut. Pengaruh model keutamaan (PM) yang digunakan untuk melatih model besar terhadap tingkah laku "sanjungan" model besar adalah kompleks, seperti yang ditunjukkan dalam Rajah 6 di bawah.

Akhirnya, penyelidik meneroka berapa kerap manusia dan model PM (MODEL PREFERENCE) cenderung menjawab dengan jujur? Didapati bahawa manusia dan model PM lebih mengutamakan respons yang menyanjung daripada respons yang betul.

Keputusan PM: Dalam 95% kes, respons yang menyanjung diutamakan daripada respons yang benar (Rajah 7a). Kajian itu juga mendapati bahawa PM lebih suka respons memuji hampir separuh masa (45%).

Hasil maklum balas manusia: Walaupun manusia cenderung untuk bertindak balas dengan lebih jujur ​​daripada memuji, kebarangkalian mereka untuk memilih jawapan yang boleh dipercayai berkurangan apabila kesukaran (miskonsepsi) meningkat (Rajah 7b). Walaupun mengagregat keutamaan berbilang orang boleh meningkatkan kualiti maklum balas, keputusan ini menunjukkan bahawa menghapuskan sanjungan sepenuhnya hanya dengan menggunakan maklum balas manusia bukan pakar mungkin mencabar.

Rajah 7c menunjukkan bahawa walaupun pengoptimuman untuk Claude 2 PM mengurangkan sanjungan, kesannya tidak ketara.

Untuk maklumat lanjut, sila lihat kertas asal.

Atas ialah kandungan terperinci "Sanjungan" adalah perkara biasa dalam model RLHF dan tiada siapa yang kebal daripada Claude kepada GPT-4. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!