Mampu memahami antara disiplin dan pemodelan pelbagai skala, MIT LAMM mengeluarkan model bahasa besar yang diperhalusi MechGPT

Editor |. Kulit Lobak

Sejak beberapa abad yang lalu, penyelidik telah mencari cara untuk menghubungkan pelbagai bidang ilmu. Dengan kemunculan kecerdasan buatan, kami kini berpeluang untuk meneroka perhubungan merentas bidang (seperti mekanik dan biologi) atau antara bidang yang berbeza (seperti mekanik kegagalan dan seni)

Untuk mencapai matlamat ini, Massachusetts Institute of Technology (MIT ) Penyelidik di Makmal Mekanik Atom dan Molekul (LAMM) menggunakan model bahasa besar (LLM) yang diperhalusi untuk mendapatkan subset pengetahuan yang berkaitan tentang kegagalan bahan berbilang skala

Langkah-langkah dalam pendekatan ini adalah menggunakan A umum terlebih dahulu. -tujuan LLM mengekstrak pasangan soalan-jawapan daripada sumber asal, dan kemudian memperhalusi LLM. Satu siri eksperimen pengiraan telah dijalankan menggunakan model asas MechGPT LLM yang diperhalusi ini untuk meneroka keupayaannya dalam pencarian pengetahuan, pelbagai tugas bahasa, penjanaan hipotesis dan menghubungkan pengetahuan merentas domain yang berbeza

Walaupun model tersebut mempunyai sedikit keupayaan untuk mengingati pengetahuan latihan, tetapi penyelidik mendapati bahawa LLM lebih bermakna untuk mengekstrak pandangan struktur melalui graf pengetahuan ontologi. Struktur graf boleh tafsir ini memberikan cerapan tafsiran, rangka kerja untuk soalan penyelidikan baharu dan perwakilan visual pengetahuan yang juga boleh digunakan untuk penjanaan yang dipertingkatkan semula.

Penyelidikan ini bertajuk "MechGPT, Strategi Berasaskan Bahasa untuk Pemodelan Mekanik dan Bahan Yang Menghubungkan Pengetahuan Merentasi Skala, Disiplin dan Modaliti" dan diterbitkan dalam "Ulasan Mekanik Gunaan" pada 19 Oktober 2023.

Memodelkan konsep fizikal, biologi dan metafizik telah menjadi tumpuan penyelidik dalam banyak disiplin. Para saintis dan jurutera awal selalunya berakar umbi dalam bidang yang terdiri daripada sains kepada falsafah, fizik kepada matematik, dan seni (cth., Galileo Galilei, Leonardo da Vinci, Johann Wolfgang von · Goethe), tetapi dengan perkembangan sains, pengkhususan telah menjadi dominan hari ini. Sebahagian daripada sebabnya ialah sejumlah besar pengetahuan telah terkumpul merentasi bidang, yang memerlukan manusia menghabiskan banyak tenaga dalam penyelidikan dan amalan.

Kini, kemunculan model bahasa besar (LLM) telah mencabar paradigma penyelidikan saintifik. Ia bukan sahaja membawa strategi pemodelan baharu berdasarkan kecerdasan buatan/pembelajaran mesin, tetapi juga menyediakan peluang untuk menghubungkan pengetahuan, idea dan konsep merentas domain. Model ini boleh melengkapkan pemodelan berbilang skala tradisional untuk analisis dan reka bentuk bahan berlapis dan banyak aplikasi lain dalam mekanik

Rajah: Aliran kerja skematik. (Sumber: Kertas)

Di sini, penyelidik LAMM telah membangunkan LLM am berdasarkan OpenOrca-Platypus2-13B berasaskan Llama-2 berdasarkan cadangan penggunaan LLM baru-baru ini dalam penyelidikan dan pembangunan mekanik dan bahan Model MechGPT yang ditala halus mengenai kegagalan bahan pemodelan, pemodelan pelbagai skala, dan disiplin yang berkaitan.

Sebab memilih model OpenOrca-Platypus2-13B adalah kerana ia berfungsi dengan baik dalam tugas utama seperti penaakulan, logik, matematik/sains dan disiplin lain, dan boleh memberikan pengetahuan dan pengetahuan yang kaya, pelbagai disiplin pada saiz model yang sederhana . Konsep umum dan keupayaan pengkomputeran yang cekap

LLM mempunyai aplikasi yang hebat dalam bidang saintifik. Selain dapat menganalisis sejumlah besar data dan sistem yang kompleks, dalam bidang mekanik dan sains bahan, LLM digunakan untuk mensimulasikan dan meramalkan kelakuan bahan dalam keadaan yang berbeza, seperti tekanan mekanikal, suhu dan interaksi kimia. Seperti yang ditunjukkan dalam kerja terdahulu, dengan melatih LLM pada set data besar daripada simulasi dinamik molekul, penyelidik boleh membangunkan model yang mampu meramalkan tingkah laku bahan dalam situasi baharu, sekali gus mempercepatkan proses penemuan dan mengurangkan keperluan untuk ujian eksperimen.

Model sebegini juga sangat berkesan untuk menganalisis teks saintifik seperti buku dan penerbitan, membolehkan penyelidik mengekstrak maklumat dan cerapan penting dengan cepat daripada sejumlah besar data. Ini boleh membantu saintis mengenal pasti arah aliran, corak dan hubungan antara konsep dan idea yang berbeza, serta menjana hipotesis dan idea baharu untuk penyelidikan lanjut.

Sila lihat rajah di bawah, yang merupakan gambaran keseluruhan seni bina pengubah penyahkod autoregresif yang digunakan untuk membina MechGPT. (Sumber: kertas)

Di sini, pasukan memberi tumpuan kepada pembangunan yang terakhir dan meneroka penggunaan MechGPT, alat kecerdasan buatan generatif daripada keluarga LLM berasaskan Transformer yang secara khusus disasarkan kepada kegagalan material dan latihan kaedah berskala berbilang yang berkaitan untuk menilai potensi strategi ini .

Strategi yang dicadangkan dalam kajian ini terdiri daripada beberapa langkah. Pertama ialah langkah penyulingan, di mana penyelidik menggunakan LLM untuk menjana pasangan soalan dan jawapan daripada teks yang diekstrak daripada ketulan data mentah (seperti satu atau lebih fail PDF). Seterusnya, gunakan data ini untuk memperhalusi model dalam langkah kedua. Kajian ini juga secara khusus melatih model MechGPT awal, menunjukkan kegunaannya untuk perolehan pengetahuan, tugasan bahasa umum, dan penjanaan hipotesis dalam bidang pemodelan atomistik kegagalan bahan

Rajah: Pemodelan yang digunakan Gambaran keseluruhan Strategi. (Sumber: Kertas)

Kertas kerja ini memperkenalkan strategi pemodelan menyeluruh di mana penyelidik menggunakan strategi pemodelan bahasa khusus untuk menjana set data untuk mengekstrak pengetahuan daripada sumber dan memanfaatkan set data mekanik dan bahan baru untuk Model ini dilatih. Para penyelidik menganalisis dan membincangkan tiga versi MechGPT dengan saiz parameter antara 13 bilion hingga 70 bilion dan panjang konteks melebihi 10,000 token

Selepas beberapa ulasan umum tentang model, petua dan kaedah latihan, penyelidik menggunakan model dan menguji prestasinya dalam pelbagai tetapan, termasuk menggunakan LLM untuk penjanaan graf ontologi dan membangunkan cerapan tentang topik kompleks merentas disiplin, serta pemodelan ejen, di mana berbilang LLM berinteraksi secara kolaboratif atau bermusuhan Untuk menjana cerapan yang lebih mendalam ke dalam bidang topik atau jawapan soalan.

Graf: Membangunkan perwakilan graf pengetahuan ontologi untuk mengaitkan keanjalan hiper dalam konteks patah supersonik dan mekanisme pembahagian protein. (Sumber: kertas)

Pada masa yang sama, pasukan itu menyediakan lagi perbandingan konsep antara model bahasa dan sistem berbilang zarah pada tahap abstraksi yang berbeza, dan menerangkan bagaimana rangka kerja baharu itu boleh dilihat sebagai cara mengekstrak hubungan sejagat yang mengawal sistem yang kompleks.

Kandungan yang ditulis semula: Imej di atas menunjukkan analogi konsep antara LLM dan simulasi berbilang zarah. (Sumber: kertas)

Secara keseluruhan, kerja yang dibentangkan dalam kajian ini menyumbang kepada pembangunan model kecerdasan buatan yang lebih berkuasa dan umum yang boleh membantu memajukan penyelidikan saintifik dan menyelesaikan masalah yang kompleks dalam bidang aplikasi tertentu, membolehkan penilaian yang mendalam terhadap prestasi model . Seperti semua model, ia mesti disahkan dengan teliti, dan kegunaannya terletak pada konteks soalan yang ditanya, kekuatan dan kelemahannya, dan alat yang lebih luas yang membantu saintis memajukan sains dan kejuruteraan.

Selain itu, alatan AI, sebagai alat penyiasatan saintifik, mesti dilihat sebagai koleksi alat untuk memahami, memodelkan dan mereka bentuk dunia di sekeliling kita. Apabila alat AI berkembang pesat, aplikasinya dalam konteks saintifik hanya mula membawa peluang baharu

Pautan kertas: https://arxiv.org/ftp/arxiv/papers/2310/2310.10445.pdf

Laporan berkaitan: https://twitter.com/llama_index/status/1723379654550245719

Atas ialah kandungan terperinci Mampu memahami antara disiplin dan pemodelan pelbagai skala, MIT LAMM mengeluarkan model bahasa besar yang diperhalusi MechGPT. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!