Rumah > Artikel > Peranti teknologi > Model besar boleh "menulis" kertas dengan sendirinya, dengan formula dan rujukan Versi percubaan kini dalam talian
Dalam beberapa tahun kebelakangan ini, dengan kemajuan penyelidikan dalam pelbagai bidang subjek, kesusasteraan saintifik dan data telah meletup, menjadikannya semakin sukar bagi penyelidik akademik untuk menemui cerapan berguna daripada sejumlah besar maklumat. Biasanya, orang menggunakan enjin carian untuk mendapatkan pengetahuan saintifik, tetapi enjin carian tidak dapat mengatur pengetahuan saintifik secara autonomi.
Kini, pasukan penyelidik daripada Meta AI telah mencadangkan Galactica, model bahasa berskala besar baharu yang boleh menyimpan, menggabungkan dan menaakul tentang pengetahuan saintifik.
Seberapa hebatkah model Galactica itu? ia dengan sendirinya Ringkaskan dan rumuskan kertas ulasan:
Anda juga boleh menjana pertanyaan ensiklopedia untuk entri:
Berikan jawapan yang berpengetahuan kepada soalan yang ditanya:
Tugas-tugas ini adalah perkara biasa bagi ahli antropologi A tugas yang mencabar, tetapi satu yang Galactica capai dengan sangat baik. Pemenang Anugerah Turing Yann LeCun turut menulis pujiannya di Twitter:
Mari kita lihat butiran khusus model Galactica.
Model Galactica dilatih pada korpus saintifik besar kertas kerja, bahan rujukan, pangkalan pengetahuan dan banyak sumber lain, termasuk lebih daripada 48 juta artikel Makalah , buku teks dan bahan edaran, pengetahuan tentang jutaan sebatian dan protein, laman web saintifik, ensiklopedia dan banyak lagi. Tidak seperti model bahasa sedia ada yang bergantung pada teks berasaskan perangkak web yang tidak dipilih, korpus yang digunakan untuk latihan Galactica adalah berkualiti tinggi dan dipilih susun tinggi. Kajian ini melatih model untuk berbilang zaman tanpa overfitting, di mana prestasi pada tugasan huluan dan hiliran telah dipertingkatkan dengan menggunakan token berulang.
Galactica mengatasi model sedia ada dalam pelbagai tugas saintifik. Mengenai tugas penerokaan pengetahuan teknikal seperti persamaan LaTeX, prestasi Galactica dan GPT-3 ialah 68.2% VS 49.0%. Galactica juga cemerlang dalam inferens, dengan ketara mengatasi Chinchilla pada penanda aras matematik MMLU.
Galactica juga mengatasi prestasi BLOOM dan OPT-175B di BIG-bench walaupun tidak dilatih dalam korpus biasa. Selain itu, ia mencapai prestasi tertinggi baharu sebanyak 77.6% dan 52.9% pada tugas hiliran seperti pembangunan PubMedQA dan MedMCQA.
Ringkasnya, penyelidikan merangkumi penaakulan langkah demi langkah dalam token khas untuk meniru kerja dalaman. Ini membolehkan penyelidik berinteraksi dengan model menggunakan bahasa semula jadi, seperti yang ditunjukkan di bawah dalam antara muka percubaan Galactica.
Perlu dinyatakan bahawa selain penjanaan teks, Galactica juga boleh melaksanakan tugas berbilang modal yang melibatkan formula kimia dan jujukan protein. Ini akan menyumbang kepada bidang penemuan dadah.
Korpus artikel ini mengandungi 106 bilion token, yang datang daripada kertas kerja, rujukan, ensiklopedia dan bahan saintifik lain. Boleh dikatakan bahawa penyelidikan ini merangkumi kedua-dua sumber bahasa semula jadi (makalah, buku rujukan) dan jujukan dalam alam semula jadi (jujukan protein, bentuk kimia). Butiran korpus ditunjukkan dalam Jadual 1 dan 2 .
Sekarang korpus tersedia, langkah seterusnya ialah cara mengendalikan data. Secara umumnya, reka bentuk tokenisasi adalah sangat penting. Sebagai contoh, jika jujukan protein ditulis dari segi sisa asid amino, maka tokenisasi berasaskan aksara adalah sesuai. Untuk mencapai tokenisasi, kajian ini melakukan tokenisasi khusus pada modaliti yang berbeza. Contoh khusus termasuk (tetapi tidak terhad kepada):
Rajah 4 di bawah menunjukkan contoh pemprosesan petikan kertas. Semasa mengendalikan rujukan, gunakan pengecam global dan token khas [START_REF] dan [END_REF] untuk menunjukkan tempat rujukan.
Selepas set data diproses, langkah seterusnya ialah cara melaksanakannya. Galactica telah membuat pengubahsuaian berikut berdasarkan seni bina Transformer:
Token pendua dianggap tidak berbahaya
Keputusan Rajah 8 menunjukkan bahawa tiada tanda overfitting dalam eksperimen, yang menunjukkan bahawa token berulang boleh meningkatkan prestasi tugasan hiliran dan huluan.
Hasil lain
Terlalu lambat untuk menaip formula, sekarang gunakan LaTeX segera boleh dijana:
Dalam tindak balas kimia, Galactica diperlukan untuk meramalkan hasil tindak balas dalam persamaan kimia LaTeX. Model boleh berdasarkan hanya pada bahan tindak balas Membuat inferens, keputusannya adalah seperti berikut:
Beberapa keputusan lain dilaporkan dalam Jadual 7:
Kebolehan penaakulan Galactica. Kajian ini pertama kali dinilai pada penanda aras matematik MMLU dan keputusan penilaian dilaporkan dalam Jadual 8. Galactica berprestasi kukuh berbanding model asas yang lebih besar, dan menggunakan token nampaknya meningkatkan prestasi Chinchilla, walaupun untuk model Galactica 30B yang lebih kecil.
Kajian ini juga menilai dataset MATH untuk meneroka lebih lanjut keupayaan inferens Galactica:
Ia boleh membuat kesimpulan daripada keputusan eksperimen bahawa Galactica jauh lebih baik daripada model PaLM asas dari segi rantaian pemikiran dan gesaan. Ini menunjukkan bahawa Galactica adalah pilihan yang lebih baik untuk mengendalikan tugasan matematik. Keputusan penilaian
pada tugasan hiliran ditunjukkan dalam Jadual 10. Galactica dengan ketara mengatasi model bahasa lain dan mengatasi model yang lebih besar pada kebanyakan tugas (Gopher 280B). Perbezaan dalam prestasi adalah lebih besar daripada Chinchilla, yang nampaknya lebih kuat pada subset tugasan: terutamanya mata pelajaran sekolah menengah dan tugasan yang kurang matematik, intensif ingatan. Sebaliknya, Galactica cenderung untuk melaksanakan tugasan matematik dan peringkat siswazah dengan lebih baik.
Kajian ini juga menilai keupayaan Chinchilla untuk meramalkan petikan berdasarkan konteks input, penilaian terhadap keupayaan Chinchilla untuk menyusun ujian saintifik. Keputusan adalah seperti berikut:
Untuk lebih banyak kandungan eksperimen, sila rujuk kertas asal.
Atas ialah kandungan terperinci Model besar boleh "menulis" kertas dengan sendirinya, dengan formula dan rujukan Versi percubaan kini dalam talian. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!