Microsoft melancarkan kaedah latihan model 'Belajar daripada Kesilapan', mendakwa 'meniru proses pembelajaran manusia dan meningkatkan keupayaan penaakulan AI'

Microsoft Research Asia, dengan kerjasama Universiti Peking, Universiti Xi'an Jiaotong dan universiti lain, baru-baru ini mencadangkan kaedah latihan kecerdasan buatan yang dipanggil "Belajar daripada Kesilapan (LeMA)". Kaedah ini mendakwa mampu meningkatkan keupayaan penaakulan kecerdasan buatan dengan meniru proses pembelajaran manusia Model bahasa berfungsi dengan baik dalam tugasan pemprosesan bahasa semula jadi (NLP) dan tugasan teka-teki matematik penaakulan rantai-of-thought (CoT).

Namun, model besar sumber terbuka seperti LLaMA-2 dan Baichuan-2 perlu diperkukuh apabila menangani isu berkaitan. Untuk meningkatkan keupayaan penaakulan rantaian pemikiran model bahasa sumber terbuka yang besar ini, pasukan penyelidik mencadangkan kaedah LeMA. Kaedah ini terutamanya meniru proses pembelajaran manusia dan meningkatkan keupayaan penaakulan model dengan "belajar daripada kesilapan"

.

▲ Kertas kerja berkaitan sumber gambar

Laman ini mendapati kaedah penyelidik adalah dengan menggunakan pasangan Data "jawapan salah" dan "jawapan betul yang diperbetulkan" digunakan untuk memperhalusi model yang berkaitan

. Untuk mendapatkan data yang berkaitan, penyelidik mengumpul jawapan dan proses penaakulan yang salah bagi 5 model bahasa besar yang berbeza (termasuk siri LLaMA dan GPT), dan kemudian menggunakan GPT-4 sebagai "penyemak" untuk memberikan jawapan yang diperbetulkan.

Dilaporkan bahawa jawapan betul yang disemak mengandungi tiga jenis maklumat, iaitu serpihan ralat dalam proses penaakulan asal, sebab kesilapan dalam proses penaakulan asal, dan cara mengubah suai kaedah asal. untuk mendapatkan jawapan yang betul.

Penyelidik menggunakan GSM8K dan MATH untuk menguji kesan kaedah latihan LeMa pada 5 model besar sumber terbuka. Keputusan menunjukkan bahawa dalam model LLaMA-2-70B yang dipertingkatkan, kadar ketepatan GSM8K masing-masing adalah 83.5% dan 81.4%, manakala kadar ketepatan MATH masing-masing ialah 25.0% dan 23.6%

Penyelidik semasa Maklumat berkaitan LeMA telah diterbitkan di GitHub Rakan-rakan yang berminat boleh

klik di sini untuk melompat

.

Atas ialah kandungan terperinci Microsoft melancarkan kaedah latihan model 'Belajar daripada Kesilapan', mendakwa 'meniru proses pembelajaran manusia dan meningkatkan keupayaan penaakulan AI'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!