Cendekiawan Google dan OpenAI bercakap tentang AI: Model bahasa bekerja keras untuk "menakluki" matematik

Jika anda bertanya tentang komputer yang mahir, antara semua jawapan, matematik mesti ada dalam senarai. Selepas tempoh penyelidikan yang panjang, sarjana terkemuka telah mencapai keputusan yang mengejutkan dalam mengkaji perkembangan komputer dalam pengiraan matematik.

Mengambil tahun lepas sebagai contoh, penyelidik dari University of California, Berkeley, OpenAI dan Google telah mencapai kemajuan yang besar dalam model bahasa GPT-3, DALL·E 2, dsb. telah dibangunkan. Walau bagaimanapun, sehingga kini, model bahasa tidak dapat menyelesaikan beberapa masalah matematik yang diterangkan secara lisan, seperti "Alice mempunyai lima bola lagi daripada Bob, dan Bob mempunyai dua bola selepas memberi Charlie empat bola. Tanya Alice berapa banyak bola yang dia ada. ?" Ini mungkin agak "sukar" untuk model bahasa memberikan jawapan yang betul.

"Apabila kami mengatakan komputer sangat mahir dalam matematik, kami bermaksud bahawa mereka sangat mahir dalam perkara khusus dan khusus," kata Guy Gur-Ari, pakar pembelajaran mesin di Google. Memang benar bahawa komputer mahir dalam aritmetik, tetapi di luar mod tertentu, komputer tidak berkuasa dan tidak dapat menjawab soalan penerangan teks yang mudah.

Penyelidik Google, Ethan Dyer pernah berkata: Orang yang melakukan penyelidikan matematik mempunyai sistem penaakulan yang tegar Terdapat jurang yang jelas antara apa yang mereka tahu dan apa yang mereka tidak faham.

Menyelesaikan masalah perkataan atau masalah penaakulan kuantitatif adalah rumit kerana tidak seperti masalah lain, kedua-duanya memerlukan keteguhan dan ketegasan. Jika ada yang tidak kena pada mana-mana langkah dalam proses, ia akan membawa kepada jawapan yang salah. DALL·E mengagumkan dalam melukis, walaupun imej yang dihasilkannya kadangkala pelik, dengan jari hilang dan mata kelihatan pelik... Kita semua boleh menerimanya, tetapi ia membuat kesilapan dalam matematik, dan Toleransi kita akan menjadi sangat kecil. Vineet Kosaraju, pakar pembelajaran mesin dari OpenAI, juga telah menyatakan idea ini, "Toleransi kami terhadap kesilapan matematik yang dibuat oleh model bahasa (seperti salah faham 10 sebagai 1 dan 0 bukannya 10) masih agak kecil." >

"Kami belajar matematik semata-mata kerana kami mendapati ia bebas dan sangat menarik," kata Karl Cobbe, pakar pembelajaran mesin di OpenAI.

Memandangkan model pembelajaran mesin dilatih pada sampel data yang lebih besar, model tersebut menjadi lebih mantap dan membuat ralat yang lebih sedikit. Tetapi meningkatkan model nampaknya hanya boleh dilakukan melalui penaakulan kuantitatif. Para penyelidik menyedari bahawa kesilapan yang dibuat oleh model bahasa nampaknya memerlukan pendekatan yang lebih disasarkan.

Tahun lepas, dua pasukan penyelidik dari University of California, Berkeley dan OpenAI mengeluarkan set data MATH dan GSM8K masing-masing Dua set data ini mengandungi beribu-ribu geometri, algebra, matematik asas, dan lain-lain masalah Matematik. "Kami mahu melihat sama ada ini adalah masalah dengan set data," kata Steven Basart, seorang penyelidik di Pusat Keselamatan AI yang bekerja dalam matematik. Adalah diketahui bahawa model bahasa tidak pandai dalam masalah perkataan Sejauh manakah prestasi mereka terhadap masalah ini? Bolehkah ia diselesaikan dengan memperkenalkan set data yang lebih berformat dan lebih besar?

Pada set data MATH, model bahasa teratas mencapai ketepatan 7%, berbanding ketepatan 40% untuk pelajar siswazah manusia dan ketepatan 90% untuk juara Olimpik. Pada set data GSM8K (masalah peringkat sekolah rendah), model tersebut mencapai ketepatan 20%. Dalam percubaan, OpenAI menggunakan dua teknik, penalaan halus dan pengesahan, dan keputusan menunjukkan bahawa model itu boleh melihat banyak contoh ralatnya sendiri, yang merupakan penemuan yang berharga.

Pada masa itu, model OpenAI perlu dilatih pada 100 kali lebih banyak data untuk mencapai ketepatan 80% pada GSM8K. Tetapi pada bulan Jun tahun ini, Google mengeluarkan Minerva, yang mencapai ketepatan 78%. Keputusan ini melebihi jangkaan, dan para penyelidik berkata ia datang lebih cepat daripada jangkaan.

Alamat kertas: https://arxiv.org/pdf/2206.14858.pdf

Minerva adalah berdasarkan Model Bahasa Laluan (PaLM) yang dibangunkan sendiri oleh Google dan mempunyai lebih banyak set data matematik, termasuk format matematik seperti arXiv dan LaTeX. Strategi lain yang digunakan oleh Minerva ialah dorongan rantaian pemikiran, di mana Minerva memecahkan masalah yang lebih besar kepada bahagian yang lebih kecil. Di samping itu, Minerva menggunakan undian majoriti, di mana bukannya meminta model untuk menghasilkan satu jawapan, ia memintanya untuk menghasilkan 100 jawapan. Daripada jawapan ini, Minerva memilih yang paling biasa.

Manfaat strategi baharu ini sangat besar, dengan Minerva mencapai ketepatan sehingga 50% pada MATH, GSM8K dan MMLU (set yang lebih umum termasuk kimia dan biologi Kadar ketepatan). pada masalah STEM adalah hampir 80%. Apabila Minerva diminta untuk membuat semula masalah yang sedikit berubah, ia menunjukkan prestasi yang sama baik, menunjukkan bahawa kebolehannya bukan hanya datang dari ingatan.

Minerva boleh mempunyai alasan yang pelik, mengelirukan dan masih menghasilkan jawapan yang betul. Walaupun model seperti Minerva mungkin mendapat jawapan yang sama seperti manusia, proses sebenar yang mereka ikuti mungkin sangat berbeza.

Pakar pembelajaran mesin Google, Ethan Dyer berkata, "Saya rasa ada idea bahawa orang dalam matematik mempunyai sistem penaakulan yang ketat antara mengetahui sesuatu dan tidak mengetahui sesuatu. Terdapat perbezaan yang jelas." Tetapi orang ramai memberikan jawapan yang tidak konsisten, membuat kesilapan, dan gagal menggunakan konsep teras. Di sempadan pembelajaran mesin, sempadannya kabur.

Atas ialah kandungan terperinci Cendekiawan Google dan OpenAI bercakap tentang AI: Model bahasa bekerja keras untuk "menakluki" matematik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!