Bagaimana untuk memberi AI banyak pengetahuan fizik? Pasukan EIT dan Universiti Peking mencadangkan konsep "kepentingan peraturan"

Editor |. ScienceAI

Model pembelajaran mendalam telah memberi kesan yang mendalam dalam bidang penyelidikan saintifik kerana keupayaannya untuk mempelajari hubungan terpendam daripada sejumlah besar data. Walau bagaimanapun, model yang bergantung semata-mata pada data secara beransur-ansur mendedahkan hadnya, termasuk terlalu bergantung pada data, had dalam keupayaan generalisasi dan isu konsistensi dengan dunia fizikal sebenar. Isu-isu ini mendorong penyelidik untuk meneroka model yang lebih boleh ditafsir dan boleh dijelaskan untuk mengimbangi kelemahan model dipacu data. Oleh itu, menggabungkan pengetahuan domain dan kaedah dipacu data untuk membina model dengan lebih banyak kebolehtafsiran dan keupayaan generalisasi telah menjadi hala tuju penting dalam penyelidikan saintifik semasa. Jenis

Sebagai contoh, model teks-ke-video Sora yang dibangunkan oleh syarikat Amerika OpenAI sangat dipuji kerana keupayaan penjanaan imejnya yang sangat baik dan dianggap sebagai kemajuan penting dalam bidang kecerdasan buatan. Walaupun mampu menghasilkan imej dan video yang realistik, Sora masih menghadapi beberapa cabaran dalam menangani undang-undang fizik, seperti graviti dan pemecahan objek. Walaupun Sora telah mencapai kemajuan yang ketara dalam mensimulasikan senario kehidupan sebenar, masih terdapat ruang untuk penambahbaikan dalam memahami dan mensimulasikan undang-undang fizikal dengan tepat. Pembangunan teknologi AI masih memerlukan usaha berterusan untuk meningkatkan kekomprehensif dan ketepatan model untuk menyesuaikan diri dengan lebih baik kepada pelbagai situasi dunia sebenar.

Satu cara yang berpotensi untuk menyelesaikan masalah ini adalah dengan memasukkan pengetahuan manusia ke dalam model pembelajaran mendalam. Dengan menggabungkan pengetahuan dan data terdahulu, keupayaan generalisasi model boleh dipertingkatkan, menghasilkan model "pembelajaran mesin bermaklumat" yang boleh memahami undang-undang fizikal. Pendekatan ini dijangka dapat meningkatkan prestasi dan ketepatan model, menjadikannya lebih mampu untuk menangani masalah kompleks dalam dunia nyata. Dengan menyepadukan pengalaman dan cerapan pakar manusia ke dalam algoritma pembelajaran mesin, kami boleh membina sistem yang lebih pintar dan cekap, sekali gus menggalakkan pembangunan dan aplikasi teknologi kecerdasan buatan.

Pada masa ini, masih kurang penerokaan yang mendalam tentang nilai sebenar ilmu dalam pembelajaran mendalam. Terdapat masalah mendesak dalam menentukan pengetahuan sedia ada yang boleh disepadukan dengan berkesan ke dalam model untuk "pra-pembelajaran". Pada masa yang sama, menyepadukan berbilang peraturan secara membuta tuli boleh menyebabkan kegagalan model, yang juga memerlukan perhatian. Batasan ini membawa cabaran kepada penerokaan mendalam tentang hubungan antara data dan pengetahuan.

Sebagai tindak balas kepada masalah ini, pasukan penyelidik dari Institut Teknologi Timur (EIT) dan Universiti Peking mencadangkan konsep "kepentingan peraturan" dan membangunkan rangka kerja yang boleh mengira dengan tepat sumbangan setiap peraturan kepada ketepatan ramalan model. Rangka kerja ini bukan sahaja mendedahkan interaksi kompleks antara data dan pengetahuan dan menyediakan panduan teori untuk pembenaman pengetahuan, tetapi juga membantu mengimbangi pengaruh pengetahuan dan data semasa proses latihan. Selain itu, kaedah ini juga boleh digunakan untuk mengenal pasti peraturan priori yang tidak sesuai, memberikan prospek yang luas untuk penyelidikan dan aplikasi dalam bidang antara disiplin.

Penyelidikan ini, bertajuk "Impak Pengetahuan Terdahulu terhadap Pembelajaran Mendalam", diterbitkan pada 8 Mac 2024 dalam jurnal antara disiplin "Nexus" di bawah Cell Press. Penyelidikan itu mendapat perhatian daripada AAAS (American Association for the Advancement of Science) dan EurekAlert!

Apabila mengajar kanak-kanak teka-teki, anda boleh sama ada membiarkan mereka mengetahui jawapannya melalui percubaan dan kesilapan, atau anda boleh membimbing mereka dengan beberapa peraturan dan teknik asas. Begitu juga, menggabungkan peraturan dan teknik—seperti undang-undang fizik—ke dalam latihan AI boleh menjadikannya lebih realistik dan lebih cekap. Walau bagaimanapun, bagaimana untuk menilai nilai peraturan ini dalam kecerdasan buatan sentiasa menjadi masalah yang merisaukan penyelidik.

Memandangkan kepelbagaian pengetahuan sedia ada, menyepadukan pengetahuan sedia ada ke dalam model pembelajaran mendalam ialah tugas pengoptimuman pelbagai objektif yang kompleks. Pasukan penyelidik secara inovatif mencadangkan rangka kerja untuk mengukur peranan pengetahuan sedia ada yang berbeza dalam meningkatkan model pembelajaran mendalam. Mereka melihat proses ini sebagai permainan yang penuh dengan kerjasama dan persaingan, dan mentakrifkan kepentingan peraturan dengan menilai sumbangan marginal mereka kepada ramalan model. Pertama, semua gabungan peraturan yang mungkin (iaitu, "gabungan") dijana, model dibina untuk setiap gabungan, dan ralat kuasa dua min dikira.

Untuk mengurangkan kos pengiraan, mereka menggunakan algoritma yang cekap berdasarkan gangguan: mula-mula melatih rangkaian saraf berasaskan data sepenuhnya sebagai model garis dasar, kemudian tambah setiap kombinasi peraturan satu demi satu untuk latihan tambahan, dan akhirnya menilai prestasi model pada data ujian. Dengan membandingkan prestasi model merentas semua gabungan dengan dan tanpa peraturan, sumbangan marginal peraturan itu boleh dikira, dan dengan itu kepentingannya.

Ilustrasi: Proses pengiraan kepentingan peraturan (sumber: kertas)

Melalui contoh mekanik bendalir, penyelidik meneroka hubungan kompleks antara data dan peraturan. Mereka mendapati bahawa data dan peraturan terdahulu memainkan peranan yang sama sekali berbeza dalam tugasan yang berbeza. Apabila pengedaran data ujian dan data latihan adalah serupa (iaitu, dalam pengagihan), peningkatan dalam volum data akan melemahkan kesan peraturan.

Namun, apabila persamaan pengedaran antara data ujian dan data latihan adalah rendah (iaitu Out-of-distribution), kepentingan peraturan global diserlahkan, manakala pengaruh peraturan tempatan menjadi lemah. Perbezaan antara kedua-dua jenis peraturan ini ialah peraturan global (seperti persamaan yang mengawal) mempengaruhi keseluruhan domain, manakala peraturan tempatan (seperti syarat sempadan) hanya bertindak pada kawasan tertentu.

Ilustrasi: Hubungan antara kepentingan peraturan dan jumlah data (Sumber: kertas)

Pasukan penyelidik mendapati melalui eksperimen berangka bahawa dalam pembenaman pengetahuan, terdapat tiga kesan interaktif antara peraturan: kesan pergantungan dan sinergi kesan dan kesan penggantian.

Kesan pergantungan bermakna beberapa peraturan perlu bergantung pada peraturan lain untuk menjadi berkesan kesan sinergi menunjukkan bahawa kesan pelbagai peraturan bekerja bersama melebihi jumlah kesan penggantian mereka menunjukkan bahawa fungsi peraturan boleh digantikan dengan data atau peraturan lain.

Tiga kesan ini wujud pada masa yang sama dan dipengaruhi oleh jumlah data. Dengan mengira kepentingan peraturan, kesan ini boleh ditunjukkan dengan jelas, memberikan panduan penting untuk pembenaman pengetahuan.

Di peringkat aplikasi, pasukan penyelidik cuba menyelesaikan masalah teras dalam proses pembenaman pengetahuan: cara mengimbangi peranan data dan peraturan untuk meningkatkan kecekapan pembenaman dan menyaring pengetahuan sedia ada yang tidak sesuai. Semasa proses latihan model, pasukan mencadangkan strategi untuk menyesuaikan berat peraturan secara dinamik.

Secara khusus, apabila langkah lelaran latihan meningkat, berat peraturan kepentingan positif meningkat secara beransur-ansur, manakala berat peraturan kepentingan negatif berkurangan. Strategi ini boleh melaraskan perhatian model kepada peraturan yang berbeza dalam masa nyata mengikut keperluan proses pengoptimuman, dengan itu mencapai pembenaman pengetahuan yang lebih cekap dan tepat.

Selain itu, mengajar undang-undang fizik kepada model AI boleh menjadikannya "lebih relevan dengan dunia sebenar dan dengan itu memainkan peranan yang lebih besar dalam sains dan kejuruteraan." Oleh itu, rangka kerja ini mempunyai pelbagai aplikasi praktikal dalam kejuruteraan, fizik dan kimia. Para penyelidik bukan sahaja mengoptimumkan model pembelajaran mesin untuk menyelesaikan persamaan multivariat, tetapi juga mengenal pasti peraturan dengan tepat yang meningkatkan prestasi model ramalan untuk analisis kromatografi lapisan nipis.

Hasil eksperimen menunjukkan bahawa dengan memasukkan peraturan yang berkesan ini, prestasi model bertambah baik dengan ketara, dan ralat min kuasa dua pada set data ujian dikurangkan daripada 0.052 kepada 0.036 (pengurangan sebanyak 30.8%). Ini bermakna rangka kerja itu boleh mengubah cerapan empirikal kepada pengetahuan berstruktur, dengan itu meningkatkan prestasi model dengan ketara.

Secara amnya, menilai nilai pengetahuan dengan tepat membantu membina model AI yang lebih realistik, meningkatkan keselamatan dan kebolehpercayaan, serta sangat penting untuk pembangunan pembelajaran mendalam.

Ilustrasi: Mengenal pasti peraturan yang berkesan melalui kepentingan peraturan (Sumber: kertas)

Seterusnya, pasukan penyelidik merancang untuk membangunkan rangka kerja mereka menjadi alat plug-in yang boleh digunakan oleh pembangun kecerdasan buatan. Matlamat utama mereka adalah untuk membangunkan model yang boleh mengekstrak pengetahuan dan peraturan terus daripada data dan kemudian memperbaiki diri mereka sendiri, dengan itu mewujudkan sistem gelung tertutup daripada penemuan pengetahuan kepada pembenaman pengetahuan, menjadikan model itu sebagai saintis kecerdasan buatan yang sebenar.

Pautan kertas: https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9

Pautan laporan AAAS: https://www.eurekalert.org/news-releases/1036117

Atas ialah kandungan terperinci Bagaimana untuk memberi AI banyak pengetahuan fizik? Pasukan EIT dan Universiti Peking mencadangkan konsep "kepentingan peraturan". Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!