Lengkapkan pengiraan MD 1 tahun dalam 2.5 hari? Kaedah pengiraan baharu pasukan DeepMind berdasarkan Euclidean Transformer

Editor |. Carrot Skin

Dalam beberapa tahun kebelakangan ini, kemajuan besar telah dicapai dalam pembangunan medan daya pembelajaran mesin (MLFF) berdasarkan pengiraan rujukan ab initio. Walaupun ralat ujian rendah dicapai, kebolehpercayaan MLFF dalam simulasi dinamik molekul (MD) menghadapi penelitian yang semakin meningkat disebabkan kebimbangan tentang ketidakstabilan terhadap skala masa simulasi yang lebih lama.

Penyelidikan telah menunjukkan potensi hubungan antara keteguhan kepada ketidaktepatan terkumpul dan penggunaan perwakilan setara dalam MLFF, tetapi kos pengiraan yang dikaitkan dengan perwakilan ini mungkin mengehadkan kelebihan ini dalam amalan.

Untuk menyelesaikan masalah ini, penyelidik dari Google DeepMind dan TU Berlin mencadangkan seni bina transformer yang dipanggil SO3krates, yang menggabungkan perwakilan setara jarang (pembolehubah Euclidean) dengan invarian pemisahan dan setara Ia menggabungkan mekanisme perhatian kendiri dengan maklumat berubah-ubah, menghapuskan keperluan untuk produk tensor yang mahal.

SO3krates mencapai gabungan unik ketepatan, kestabilan dan kelajuan, membolehkan analisis mendalam sifat kuantum jirim dalam tempoh masa yang lama dan skala sistem.

Penyelidikan itu bertajuk "Pengubah Euclidean untuk medan daya dipelajari mesin yang pantas dan stabil" dan diterbitkan dalam "Komunikasi Alam Semulajadi" pada 6 Ogos 2024.

Latar Belakang dan Cabaran

Simulasi dinamik molekul (MD) boleh mendedahkan evolusi sistem daripada interaksi mikroskopik kepada sifat makroskopik melalui simulasi jangka panjang, dan ketepatan ramalannya bergantung pada interaksi interatomik yang mendorong ketepatan daya. Secara tradisinya, daya ini telah diperoleh daripada medan daya anggaran (FF) atau kaedah struktur elektronik ab initio yang kompleks secara komputasi.

Dalam beberapa tahun kebelakangan ini, model tenaga berpotensi pembelajaran mesin (ML) telah menyediakan kaedah ramalan yang lebih fleksibel dengan mengeksploitasi pergantungan statistik sistem molekul.

Walau bagaimanapun, kajian telah menunjukkan bahawa ralat ujian model ML pada set data penanda aras berkorelasi lemah dengan prestasi dalam simulasi MD jangka panjang.

Untuk meningkatkan prestasi ekstrapolasi, seni bina kompleks seperti rangkaian neural penghantaran mesej (MPNN) telah dibangunkan, terutamanya MPNN setara, yang menangkap maklumat arah antara atom dengan memperkenalkan produk tensor untuk meningkatkan kebolehpindahan data.

Dalam seni bina setara SO(3), lilitan dilakukan pada kumpulan putaran SO(3) berdasarkan harmonik sfera. Dengan menetapkan darjah maksimum harmonik sfera dalam seni bina, pertumbuhan eksponen ruang fungsi yang berkaitan boleh dielakkan.

Para saintis telah membuktikan bahawa susunan maksimum berkait rapat dengan ketepatan, kecekapan data, dan berkaitan dengan kebolehpercayaan model dalam simulasi MD. Walau bagaimanapun, skala lilitan SO(3) , yang boleh meningkatkan masa ramalan setiap konformasi sehingga dua tertib magnitud berbanding model invarian.

Ini membawa kepada situasi di mana kompromi mesti dibuat antara ketepatan, kestabilan dan kelajuan, dan juga boleh menimbulkan masalah praktikal yang ketara. Isu ini mesti ditangani sebelum model ini boleh berguna dalam misi penerokaan berdaya tinggi atau luas.

Kaedah baharu dengan prestasi hebat

Pasukan penyelidik Google DeepMind dan Universiti Teknikal Berlin menggunakan ini sebagai motivasi untuk mencadangkan mekanisme perhatian diri Euclidean, menggunakan arah relatif penapis kejiranan atom dan bukannya SO( 3) konvolusi, dengan itu mewakili interaksi atom tanpa produk tensor yang mahal kaedahnya dipanggil SO3krates.

Ilustrasi: Seni bina SO3krates dan blok bangunan. (Sumber: Kertas)

Penyelesaian ini dibina berdasarkan kemajuan terkini dalam reka bentuk seni bina rangkaian saraf dan pembelajaran mendalam geometri. SO3krates menggunakan perwakilan jarang untuk geometri molekul dan mengehadkan unjuran semua tindak balas lilitan kepada komponen invarian yang paling relevan bagi fungsi asas setara.

Ilustrasi: Pembelajaran invarian. (Sumber: kertas)

Disebabkan keortogonan harmonik sfera, unjuran ini sepadan dengan surih tensor produk, yang boleh diwakili oleh produk dalam berskala linear. Ini boleh diperluaskan dengan cekap kepada perwakilan setara peringkat tinggi tanpa mengorbankan kelajuan pengiraan atau kos memori.

Ramalan daya diperoleh daripada kecerunan model tenaga invarian yang terhasil, yang mewakili pelinearisasi sekeping bagi setara semula jadi. Sepanjang proses, mekanisme perhatian kendiri digunakan untuk memisahkan elemen asas invarian dan setara dalam model.

Pasukan membandingkan kestabilan dan kelajuan model SO3krates dengan model ML terkini dan mendapati penyelesaian itu mengatasi batasan MLFF setara semasa tanpa menjejaskan kelebihannya.

Formula matematik yang dicadangkan oleh penyelidik dapat merealisasikan seni bina setara yang cekap, dengan itu mencapai simulasi MD yang boleh dipercayai dan stabil berbanding dengan MPNN setara dengan kestabilan dan ketepatan yang setanding, kelajuannya boleh ditingkatkan sebanyak kira-kira 30 kali ganda.

Untuk membuktikannya, penyelidik menjalankan simulasi MD berskala nanosaat yang tepat bagi struktur supramolekul dalam beberapa jam sahaja, membolehkan mereka mengira julat daripada peptida kecil dengan 42 atom kepada peptida dengan 370 atom transformasi Fourier fungsi autokorelasi struktur berstruktur nano.

Grafik: Gambaran keseluruhan hasil. (Sumber: Kertas)

Para penyelidik seterusnya menggunakan model ini untuk meneroka topologi PES asid docosahexaenoic (DHA) dan Ac-Ala3-NHMe dengan mengkaji minima 10k menggunakan algoritma lompat minimum.

Kajian sedemikian memerlukan kira-kira 30M penilaian FF yang dilakukan pada suhu antara beberapa ratus K dan 1200 K. Menggunakan kaedah DFT, analisis ini memerlukan lebih daripada satu tahun masa pengiraan. MLFF setara sedia ada dengan ketepatan ramalan yang serupa akan mengambil masa lebih daripada sebulan untuk dijalankan untuk menyelesaikan analisis sedemikian.

Sebagai perbandingan, pasukan itu dapat menyelesaikan simulasi dalam masa 2.5 hari sahaja, membolehkan anda meneroka ratusan ribu minima PES pada skala masa yang realistik.

Selain itu, SO3krates dapat mengesan konformasi minimum yang sah secara fizikal yang tidak termasuk dalam data latihan. Keupayaan untuk mengekstrapolasi kepada bahagian PES yang tidak diketahui adalah penting untuk menskalakan MLFF kepada struktur besar, kerana data rujukan ab initio yang tersedia hanya meliputi subkawasan struktur yang kaya secara konformasi.

Pasukan juga mengkaji kesan melumpuhkan sifat varians yang sama dalam seni bina rangkaian untuk mendapatkan pemahaman yang lebih mendalam tentang kesannya terhadap sifat model dan kebolehpercayaannya dalam simulasi MD.

Para penyelidik mendapati bahawa kesetaraan berkaitan dengan kestabilan simulasi MD yang terhasil dan kelakuan ekstrapolasi kepada suhu yang lebih tinggi. Ia boleh ditunjukkan bahawa walaupun anggaran ralat ujian adalah sama secara purata, kesetaraan mengurangkan penyebaran taburan ralat.

Ilustrasi: kecekapan pengiraan dan kestabilan MD. (Sumber: kertas)

Oleh itu, penggunaan maklumat arah melalui perwakilan setara adalah serupa dengan semangat teori ML klasik, di mana pemetaan ke dimensi yang lebih tinggi boleh menghasilkan ruang ciri yang lebih kaya yang lebih mudah untuk diparameterkan.

Penyelidikan Masa Depan

Dalam satu siri kajian terkini, kaedah yang bertujuan untuk mengurangkan kerumitan pengiraan lilitan SO(3) telah dicadangkan. Mereka boleh berfungsi sebagai pengganti untuk lilitan SO(3) penuh, dan kaedah yang dibentangkan dalam artikel ini boleh mengelakkan sepenuhnya penggunaan lilitan SO(3) yang mahal dalam paradigma penghantaran mesej.

Keputusan ini semua menunjukkan bahawa pengoptimuman interaksi setara ialah bidang penyelidikan aktif yang belum matang sepenuhnya dan mungkin menyediakan ruang untuk penambahbaikan selanjutnya.

Ilustrasi: Simulasi MD jangka panjang yang teguh dan ekstrapolasi kepada biomolekul yang lebih besar. (Sumber: kertas)

Walaupun kerja pasukan memungkinkan untuk mencapai skala masa simulasi lanjutan yang stabil menggunakan paradigma pemodelan MLFF moden, pengoptimuman masa hadapan masih diperlukan untuk membawa kebolehgunaan MLFF lebih dekat kepada FF klasik tradisional.

Pada masa ini, pelbagai jalan yang menjanjikan telah muncul ke arah ini: Dalam reka bentuk semasa, EV ditakrifkan semata-mata dari segi interaksi dua badan. Ketepatan boleh dipertingkatkan lagi dengan memasukkan pengembangan kelompok atom ke dalam langkah MP. Pada masa yang sama, ini boleh membantu mengurangkan bilangan langkah MP dan dengan itu kerumitan pengiraan model.

Satu lagi isu yang masih belum dibincangkan ialah pengendalian kesan global yang betul. Dengan menggunakan anggaran peringkat rendah, penjumlahan Ewald yang boleh dilatih, atau dengan mempelajari pembetulan jarak jauh dengan cara yang diilhamkan secara fizikal. Jenis pendekatan yang terakhir amat penting apabila ekstrapolasi kepada sistem yang lebih besar diperlukan.

Walaupun model setara boleh meningkatkan ekstrapolasi interaksi tempatan, ini tidak terpakai pada interaksi di luar skala panjang yang terdapat dalam data latihan atau di luar potongan efektif model.

Memandangkan kaedah di atas bergantung pada sifat tempatan seperti cas separa, elektronegativiti atau volum Hirshfield, kaedah ini boleh disepadukan dengan lancar ke dalam seni bina pasukan dengan mempelajari deskriptor tempatan yang sepadan dalam cabang ciri invarian dalam kaedah SO3krates.

Oleh itu, kerja masa hadapan akan menumpukan pada menggabungkan pengembangan banyak badan, kesan global dan interaksi jarak jauh ke dalam formalisme EV, dan bertujuan untuk meningkatkan lagi kecekapan pengiraan dan akhirnya menjangkau skala masa MD dengan ketepatan yang tinggi.

Pautan kertas: https://www.nature.com/articles/s41467-024-50620-6

Kandungan berkaitan: https://phys.org/news/2024-08-faster-coupling- ai-fundamental-physics.html

Atas ialah kandungan terperinci Lengkapkan pengiraan MD 1 tahun dalam 2.5 hari? Kaedah pengiraan baharu pasukan DeepMind berdasarkan Euclidean Transformer. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!