Zhiyuan dan institusi lain mengeluarkan strategi tadbir urus model besar pelbagai kemahiran bagi model LM-Cocktail

Dengan pembangunan dan pelaksanaan teknologi model besar, "tadbir urus model" telah menjadi cadangan yang kini mendapat perhatian utama. Walau bagaimanapun, dalam amalan, penyelidik sering mengalami pelbagai cabaran.

Di satu pihak, untuk meningkatkan prestasinya pada tugas sasaran, penyelidik akan mengumpul dan membina set data tugas sasaran dan memperhalusi model bahasa besar (LLM), tetapi pendekatan ini biasanya membawa kepada masalah selain daripada tugas sasaran Prestasi tugas umum berkurangan dengan ketara, merosakkan keupayaan am asal LLM.

Sebaliknya, bilangan model dalam komuniti sumber terbuka secara beransur-ansur meningkat, dan pembangun model besar juga mungkin mengumpul lebih banyak model dalam pelbagai latihan Setiap model mempunyai kelebihan tersendiri untuk pelaksanaan tugas atau penalaan lebih lanjut menjadi masalah.

Baru-baru ini, Kumpulan Pencarian Maklumat dan Pengkomputeran Pengetahuan Institut Penyelidikan Sumber Pintar mengeluarkan strategi tadbir urus model LM-Cocktail, bertujuan untuk menyediakan pembangun model besar dengan cara kos rendah untuk terus meningkatkan prestasi model: gabungan pengkomputeran melalui sebilangan kecil sampel Berat, gunakan teknologi gabungan model untuk menggabungkan kelebihan model yang ditala halus dan model asal untuk mencapai penggunaan "sumber model" yang cekap. .

Teknologi gabungan model boleh meningkatkan prestasi model tunggal dengan menggabungkan berbilang model. Diilhamkan oleh ini, strategi LM-Cocktail mengira lagi kepentingan model yang berbeza untuk tugasan sasaran, memberikan pemberat yang berbeza kepada model yang berbeza, dan melakukan gabungan model berdasarkan ini Sambil meningkatkan prestasi pada tugas sasaran, ia kekal pada umum tugas yang kuat.

• Strategi LM-Cocktail adalah serupa dengan membuat koktel Ia boleh mengagregatkan kelebihan dan keupayaan setiap model dan mencipta model "berbakat berbilang" dengan pelbagai kepakaran dengan menggunakan model yang berbeza
• . Inovasi

Secara khusus, LM-Cocktail boleh menggabungkan model sedia ada untuk menghasilkan model baharu dengan memilih nisbah model secara manual, atau memasukkan sejumlah kecil sampel untuk mengira berat secara automatik Proses ini tidak memerlukan pemodelan semula model yang boleh menyesuaikan diri dengan pelbagai struktur, seperti model bahasa besar Llama, model vektor semantik BGE, dsb.

Jika pembangun kekurangan data label untuk tugas sasaran tertentu atau kekurangan sumber pengkomputeran untuk penalaan halus model, mereka boleh menggunakan strategi LM-Cocktail untuk menghapuskan langkah penalaan halus model. Anda hanya perlu membina sejumlah kecil sampel data dan anda boleh menggabungkan model bahasa berskala besar sedia ada dalam komuniti sumber terbuka untuk menyediakan "LM cocktail" anda sendiri

Seperti yang ditunjukkan dalam rajah di atas, memperhalusi Llama pada tugas sasaran tertentu, boleh meningkatkan ketepatan tugas sasaran dengan ketara, tetapi menjejaskan keupayaan umum pada tugas lain. Mengguna pakai LM-Cocktail boleh menyelesaikan masalah ini.

Inti LM-Cocktail adalah untuk menggabungkan model yang diperhalusi dengan parameter berbilang model lain, menyepadukan kelebihan berbilang model, meningkatkan ketepatan pada tugas sasaran sambil mengekalkan keupayaan umum pada tugas lain . Bentuk khusus adalah seperti berikut: diberi tugasan sasaran, model asas, dan model yang diperoleh dengan memperhalusi model asas pada tugasan, sambil mengumpul model daripada komuniti sumber terbuka atau model yang dilatih sebelum ini untuk membentuk koleksi. Kira berat gabungan setiap model melalui sebilangan kecil sampel pada tugas sasaran, dan lakukan jumlah wajaran parameter model ini untuk mendapatkan model baharu (untuk proses khusus, sila rujuk kertas atau kod sumber terbuka) . Jika tiada model lain dalam komuniti sumber terbuka, anda juga boleh menyepadukan secara langsung model asas dan model yang diperhalusi untuk meningkatkan prestasi tugasan hiliran tanpa mengurangkan keupayaan umum.

Dalam senario aplikasi sebenar, disebabkan oleh had data dan sumber, pengguna mungkin tidak dapat memperhalusi tugas hiliran, iaitu model yang belum diperhalusi untuk tugasan sasaran. Dalam kes ini, pengguna boleh membina jumlah sampel data yang sangat kecil dan menyepadukan model bahasa besar sedia ada dalam komuniti untuk menjana model bagi tugasan baharu dan meningkatkan ketepatan tugas sasaran tanpa melatih model tersebut.

Hasil eksperimen

1. Penalaan halus yang fleksibel untuk mengekalkan keupayaan umum

. Sebagai contoh, selepas penalaan halus pada set latihan AG News, ketepatan Llama pada set ujian AG News meningkat daripada 40.80% kepada 94.42%, tetapi ketepatannya pada tugas lain menurun daripada 46.80% kepada 38.58%.

Walau bagaimanapun, dengan hanya menggabungkan parameter model yang ditala halus dan model asal, prestasi kompetitif sebanyak 94.46% dicapai pada tugas sasaran, yang setanding dengan model yang ditala halus, manakala ketepatan ialah 47.73 % pada tugasan lain, malah Sedikit lebih kuat daripada prestasi model asal. Di bawah tugasan tertentu, seperti Helleswag, model bercantum bahkan boleh mengatasi model yang ditala halus pada tugasan yang ditala halus ini, dan mengatasi model umum asal pada tugasan lain, iaitu, sambil mewarisi kelebihan model yang ditala halus dan model asal, ia melebihi mendapat mereka. Dapat dilihat bahawa pengiraan nisbah gabungan melalui LM-Cocktail dan menyepadukan lagi model lain yang diperhalusi boleh meningkatkan lagi prestasi umum pada tugas lain sambil memastikan ketepatan tugas sasaran. . Tugas sasaran model vektor ialah mendapatkan semula (pendapatan maklumat)

Penalaan halus model memerlukan sejumlah besar data dan sejumlah besar sumber pengkomputeran, terutamanya memperhalusi model bahasa besar, yang mungkin tidak dapat dilakukan dalam situasi sebenar. Apabila tugas sasaran tidak dapat diperhalusi, LM-Cocktail boleh mencapai keupayaan baharu dengan mencampurkan model sedia ada (daripada komuniti sumber terbuka atau pengumpulan latihan sejarahnya sendiri).

Dengan hanya memberikan 5 keping data sampel, LM-Cocktail secara automatik mengira berat pemberat gabungan, menapis keluar model sedia ada dan kemudian menggabungkannya untuk mendapatkan model baharu tanpa menggunakan sejumlah besar data untuk latihan. Eksperimen telah mendapati bahawa model baharu yang dijana boleh mencapai ketepatan yang lebih tinggi pada tugasan baharu. Sebagai contoh, untuk Llama, LM-Cocktail digunakan untuk menggabungkan 10 model sedia ada (tugas latihan yang tidak berkaitan dengan senarai MMLU), yang boleh mencapai peningkatan yang ketara dan lebih tinggi daripada model Llama yang menggunakan 5 data sampel untuk pembelajaran konteks. Sila cuba gunakan LM-Cocktail, kami mengalu-alukan maklum balas dan cadangan anda melalui isu GitHub: https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail

Atas ialah kandungan terperinci Zhiyuan dan institusi lain mengeluarkan strategi tadbir urus model besar pelbagai kemahiran bagi model LM-Cocktail. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!