Sistem AI penemuan saintifik automatik sepenuhnya yang pertama, pengarang Transformer permulaan Sakana AI melancarkan AI Scientist

Editor |. ScienceAI

Setahun yang lalu, Llion Jones, pengarang terakhir kertas Transformer Google, meninggalkan untuk memulakan perniagaan dan mengasaskan syarikat kecerdasan buatan Sakana AI dengan bekas penyelidik Google, David Ha. Sakana AI mendakwa mencipta model asas baharu berdasarkan kecerdasan yang diilhamkan oleh alam semula jadi!

Kini, Sakana AI telah menyerahkan kertas jawapannya.

Sakana AI mengumumkan pelancaran AI Scientist, sistem AI pertama di dunia untuk penyelidikan saintifik automatik dan penemuan terbuka!

Daripada mengandung, menulis kod, menjalankan eksperimen dan meringkaskan keputusan, kepada menulis keseluruhan kertas kerja dan menjalankan ulasan rakan sebaya, AI Scientists menyambut era baharu penyelidikan saintifik dipacu AI dan penemuan yang dipercepatkan.

Pada dasarnya, ia boleh mengulangi proses penyelidikan saintifik secara berterusan, secara berulang-ulang mengembangkan idea secara terbuka, sama seperti saintis manusia.

Para penyelidik menunjukkan kepelbagaiannya dengan menerapkannya pada tiga subbidang pembelajaran mesin yang berbeza: pemodelan resapan, pemodelan bahasa berasaskan Transformer dan dinamik pembelajaran.

Setiap idea akan dilaksanakan dan dikembangkan menjadi kertas lengkap dengan harga kurang daripada $15 setiap kertas. Untuk menilai kertas yang dihasilkan, penyelidik mereka bentuk dan mengesahkan penyemak automatik dengan prestasi hampir manusia dalam menilai markah kertas.

AI Saintis boleh menulis kertas yang melebihi ambang penerimaan persidangan pembelajaran mesin teratas.

Pelancaran AI Scientist menandakan satu langkah penting ke arah merealisasikan potensi penuh kecerdasan buatan dalam penyelidikan saintifik. Dengan mengautomasikan proses penemuan dan menyepadukan sistem semakan dipacu AI, ia membuka pintu kepada kemungkinan yang tidak berkesudahan untuk inovasi dan penyelesaian masalah dalam bidang sains dan teknologi yang paling mencabar.

Penyelidikan berkaitan bertajuk "The AI ​​​​Scientist: Towards Fully Automated Open-Ended Scientific Discovery" telah diterbitkan pada platform pracetak arXiv pada 12 Ogos.

Pautan kertas: https://arxiv.org/abs/2408.06292

Salah satu cabaran yang dihadapi oleh kecerdasan buatan adalah untuk membangunkan agen yang boleh menjalankan penyelidikan saintifik dan menemui pengetahuan baharu. Walaupun model canggih telah digunakan sebagai alat sampingan untuk saintis manusia, seperti idea sumbang saran, menulis kod atau melaksanakan tugas ramalan, mereka masih hanya melengkapkan sebahagian kecil proses saintifik.

Dalam penyelidikan terkini, saintis di Sakana AI mencadangkan rangka kerja komprehensif pertama untuk penemuan saintifik automatik sepenuhnya, membolehkan model bahasa berskala besar yang canggih menjalankan penyelidikan secara bebas dan menyampaikan penemuan mereka.

AI Saintis boleh menjana idea penyelidikan baru, menulis kod, melakukan eksperimen, memvisualisasikan hasil, menerangkan penemuan mereka dengan menulis kertas saintifik penuh, dan kemudian menjalankan proses semakan simulasi untuk penilaian.

Mengenai AI Saintis

AI Saintis mempunyai tiga peringkat utama: (1) penjanaan idea, (2) lelaran eksperimen, (3) penulisan kertas. Setelah ditulis, penyelidik memperkenalkan dan mengesahkan ulasan yang dihasilkan oleh LLM untuk menilai kualiti kertas yang dihasilkan.

Ilustrasi: Proses penemuan saintifik dipacu LLM yang didorong oleh LLM ilustrasi konsep AI Saintis. (Sumber: Kertas)

Penyelidik menyediakan templat kod permulaan kepada Saintis AI yang menghasilkan semula larian latihan asas ringan model atau penanda aras yang popular. Sebagai contoh, ini mungkin kod untuk melatih pengubah kecil tentang Shakespeare, latihan bukti konsep klasik yang dijalankan dalam pemprosesan bahasa semula jadi yang boleh diselesaikan dalam beberapa minit.

Kemudian, Saintis AI bebas untuk meneroka sebarang hala tuju penyelidikan yang mungkin. Templat ini juga termasuk folder LaTeX yang mengandungi fail gaya dan pengepala bahagian serta kod plot mudah. Secara amnya, setiap larian bermula dengan percubaan skala kecil yang mewakili yang berkaitan dengan kawasan topik.

Para penyelidik menjelaskan: "Memfokus pada eksperimen berskala kecil bukanlah batasan asas kaedah kami, tetapi hanya soal kecekapan pengiraan dan had pengiraan peralatan kami

Mengapa menulis kertas penting?

Memandangkan matlamat keseluruhan saintis adalah untuk mengautomasikan penemuan saintifik, mengapa penyelidik mahu AI Saintis menulis kertas kerja seperti saintis manusia? Sebagai contoh, sistem AI terdahulu seperti FunSearch dan GNoME pernah menghasilkan penemuan saintifik yang mengagumkan dalam bidang terhad, tetapi mereka tidak mampu menulis kertas kerja.

Pasukan ini percaya bahawa adalah penting bagi Saintis AI untuk menulis kertas saintifik untuk menyebarkan penemuan mereka atas sebab berikut: pertama, menulis kertas menyediakan manusia dengan cara yang boleh ditafsirkan untuk mendapat manfaat daripada apa yang telah mereka pelajari, kedua, dalam Menyemak kertas bertulis dalam rangka kerja persidangan pembelajaran mesin sedia ada membolehkan saintis menyeragamkan penilaian ketiga, sejak kelahiran sains moden, kertas saintifik telah menjadi medium utama untuk menyebarkan hasil penyelidikan.

Memandangkan kertas itu boleh menggunakan bahasa semula jadi dan mengandungi plot dan kod, ia boleh menerangkan secara fleksibel sebarang jenis penyelidikan dan penemuan saintifik. Hampir setiap format lain yang boleh dibayangkan dikunci ke dalam beberapa data atau genre saintifik. Sehingga alternatif unggul muncul (atau mungkin dicipta oleh kecerdasan buatan), pasukan itu percaya melatih Saintis AI untuk menulis kertas saintifik adalah penting untuk penyepaduan mereka ke dalam komuniti saintifik yang lebih luas.

Ilustrasi: Pratonton kertas "Adaptive Dual-Scale Denoising" yang dijana sepenuhnya secara bebas oleh AI Scientist. (Sumber: kertas)

Mengenai kos

Rangka kerja di sini cukup fleksibel untuk menjalankan penyelidikan dengan cekap dalam pelbagai subbidang pembelajaran mesin, termasuk pemodelan bahasa berasaskan pengubah, dinamik pembelajaran rangkaian saraf dan pemodelan resapan. Sistem ini sangat menjimatkan kos, berharga kira-kira $15 setiap kertas, dan menghasilkan kertas kerja berkaitan persidangan, menonjolkan keupayaannya untuk mendemokrasikan penyelidikan (meningkatkan kebolehcapaiannya) dan mempercepatkan kemajuan saintifik.

Sebagai contoh, analisis kualitatif awal penyelidik AI Scientist mencadangkan bahawa kertas kerja yang dihasilkan boleh bermaklumat dan novel secara meluas, atau sekurang-kurangnya mengandungi idea yang layak untuk penyelidikan masa depan.

Jumlah pengkomputeran sebenar yang diperuntukkan oleh pasukan kepada AI Scientists untuk eksperimen juga sangat kecil mengikut piawaian semasa. Terutama, kebanyakan eksperimen penyelidik, yang menjana ratusan kertas dalam seminggu, dijalankan hanya menggunakan satu nod 8×NVIDIA H100 tunggal. Jika skop carian dan penapisan dikembangkan secara besar-besaran, kertas berkualiti tinggi mungkin dihasilkan.

Dalam projek ini, kebanyakan kos menjalankan AI Scientist adalah berkaitan dengan kos pengekodan API LLM dan penulisan kertas. Sebagai perbandingan, kos yang berkaitan dengan menjalankan penyemak LLM dan perbelanjaan pengiraan untuk menjalankan eksperimen adalah diabaikan disebabkan oleh kekangan yang dikenakan oleh pasukan untuk mengurangkan kos keseluruhan.

Sudah tentu, perkongsian kos ini mungkin berubah pada masa hadapan jika AI Scientists digunakan untuk bidang saintifik lain atau digunakan dalam eksperimen pengiraan berskala lebih besar.

Model Terbuka vs. Tertutup

Untuk menilai secara kuantitatif dan mengoptimumkan kertas yang dijana, para penyelidik mula-mula mencipta dan mengesahkan penyemak kertas automatik. Keputusan menunjukkan bahawa, walaupun masih terdapat banyak ruang untuk pengoptimuman, LLM mampu menghasilkan ulasan yang agak tepat dan mencapai hasil yang setanding dengan manusia pada pelbagai metrik.

Grafik: Graf biola menunjukkan taburan markah untuk kertas hasil pengulas AI Scientist dalam tiga kawasan dan empat model asas. (Sumber: Kertas)

Menggunakan penyemak ini pada kertas kerja yang dihasilkan oleh AI Scientist membolehkan saintis melanjutkan penilaian kertas melebihi semakan manusia. Para penyelidik mendapati bahawa Sonnet 3.5 secara konsisten menghasilkan kertas kerja terbaik, malah sebahagian daripadanya melebihi ambang penerimaan penyemak kertas automatik pada persidangan pembelajaran mesin standard.

Walau bagaimanapun, pasukan itu tidak mempunyai sebab untuk mengharapkan AI Scientist mengekalkan penerajunya dengan model tunggal seperti Sonnet 3.5. Penyelidik percaya bahawa semua LLM yang canggih, termasuk model terbuka, akan terus bertambah baik. Persaingan di kalangan LLM akan meningkatkan komoditi dan keupayaan mereka dengan ketara.

Ilustrasi: Menilai proses semakan kertas AI Scientist pada data OpenReview ICLR 2022 menggunakan GPT-4o. (Sumber: Kertas)

Dalam projek ini, penyelidik mengkaji pelbagai LLM proprietari, termasuk GPT-4o dan Sonnet, tetapi turut meneroka penggunaan model terbuka seperti DeepSeek dan Llama-3. Model terbuka didapati mempunyai kelebihan yang ketara, seperti kos yang lebih rendah, ketersediaan yang terjamin, ketelusan yang lebih besar dan fleksibiliti yang lebih besar, walaupun dengan kualiti yang lebih rendah sedikit.

Pada masa hadapan, para penyelidik menyasarkan untuk menggunakan proses penemuan yang dicadangkan untuk menghasilkan kecerdasan buatan yang mempertingkatkan diri dalam sistem gelung tertutup menggunakan model terbuka.

Arah Masa Depan

Peningkatan segera kepada AI Scientist mungkin termasuk menyepadukan keupayaan visual untuk mengendalikan carta dan graf dengan lebih baik, menggabungkan maklum balas dan interaksi manusia untuk meningkatkan output AI, dan membolehkan AI Scientist mengekstrak data daripada data baharu Internet dan model untuk mengembangkan skop percubaan mereka secara automatik, dengan syarat selamat untuk melakukannya.

Selain itu, AI Scientists boleh membuat susulan tentang idea terbaik mereka dan juga bekerja secara langsung pada kod mereka sendiri dengan cara rujukan sendiri. Malah, kebanyakan kod untuk projek itu ditulis oleh Aider. Memperluas rangka kerja ke bidang saintifik lain boleh mengembangkan lagi impaknya, membuka jalan kepada era baharu penemuan saintifik automatik.

Yang penting, kerja masa hadapan harus menangani isu kebolehpercayaan dan halusinasi, mungkin melalui pengesahan automatik yang lebih mendalam bagi hasil yang dilaporkan. Ini boleh dicapai dengan memautkan terus kod dan percubaan, atau dengan melihat sama ada pengesah automatik boleh mengeluarkan semula hasil secara bebas.

Epilog

AI Saintis menandakan permulaan era baharu penemuan saintifik dalam pembelajaran mesin: membawa kelebihan transformatif ejen AI ke dalam keseluruhan proses penyelidikan AI itu sendiri, dan membawa saintis lebih dekat dengan dunia yang boleh melepaskan tanpa had dan mampu milik Dunia di mana kreativiti dan inovasi datang untuk menyelesaikan masalah paling mencabar di dunia.

Akhirnya, “Kami membayangkan ekosistem saintifik yang dikuasakan sepenuhnya oleh AI, termasuk bukan sahaja penyelidik dipacu AI tetapi juga pengulas, kerusi kawasan, dan keseluruhan persidangan Walau bagaimanapun, kami tidak percaya bahawa peranan saintis manusia akan melemah menyesuaikan diri dengan teknologi baharu dan meningkatkan rantaian makanan, peranan saintis akan berubah," kata penyelidik dalam kertas itu.

Walaupun lelaran semasa AI Scientist menunjukkan keupayaan yang kuat untuk berinovasi di samping idea yang terbukti seperti pemodelan resapan atau Transformers, ia masih menjadi persoalan terbuka sama ada sistem sedemikian akhirnya akan dapat menghasilkan idea yang benar-benar mengubah paradigma.

Adakah AI Scientists versi masa depan dapat menghasilkan idea yang berkesan seperti pemodelan resapan, atau menghasilkan seni bina Transformer seterusnya? Adakah mesin akhirnya dapat mencipta konsep sebagai asas seperti rangkaian saraf tiruan atau teori maklumat?

"Kami percaya AI Scientist akan menjadi rakan kongsi yang sangat baik untuk saintis manusia, tetapi hanya masa yang akan menentukan

Alamat sumber terbuka GitHub: http://github.com/SakanaAI/AI-Scientist

Pautan kertas." : https://arxiv.org/abs/2408.06292

Kandungan rujukan:

http://sakana.ai/ai-scientist/

ushttps://x.com/status/AILabs 1823178623513239992

https://mp.weixin.qq.com/s/-jjXBJAkdMEyl2JhRgwdaA

🎜🎜 🎜🎜

Atas ialah kandungan terperinci Sistem AI penemuan saintifik automatik sepenuhnya yang pertama, pengarang Transformer permulaan Sakana AI melancarkan AI Scientist. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!