Ketepatan ramalan adalah setinggi 0.98 Universiti Tsinghua, Teknologi Shenzhen dan lain-lain mencadangkan rangka kerja ramalan pelbagai fungsi untuk bahan MOF berdasarkan Transformer.

Editor |

Kaedah simulasi tradisional, seperti dinamik molekul, walaupun rumit dan menuntut secara pengiraan, adalah sangat tepat dalam mensimulasikan gelagat sistem. Sebaliknya, kaedah pembelajaran mesin berdasarkan kejuruteraan ciri berprestasi lebih baik apabila berurusan dengan sistem yang kompleks Namun, disebabkan oleh kekurangan data berlabel, ia boleh menyebabkan masalah overfitting. Tambahan pula, kaedah pembelajaran mesin ini biasanya direka untuk menyelesaikan satu tugasan dan kekurangan sokongan untuk pembelajaran berbilang tugas. Oleh itu, apabila memilih kaedah yang sesuai, faktor seperti ketepatan, keperluan data dan kerumitan tugas perlu ditimbang untuk mencari penyelesaian yang paling sesuai dengan masalah tertentu.

Untuk menangani cabaran ini, pasukan berbilang institusi yang terdiri daripada Universiti Tsinghua, Universiti California, Universiti Sun Yat-sen, Universiti Suzhou, Teknologi Shenzhen dan AI untuk Institut Sains (Beijing, AISI) bersama-sama mencadangkan Uni- MOF, rangka kerja inovatif untuk pembelajaran perwakilan MOF 3D berskala besar, direka untuk ramalan gas pelbagai guna. Uni-MOF sesuai untuk kedua-dua penyelidikan saintifik dan aplikasi praktikal.

Uni-MOF boleh dianggap sebagai peramal penjerapan gas pelbagai fungsi untuk bahan MOF, menunjukkan ketepatan ramalan yang sangat baik dalam data simulasi, menandakan aplikasi penting pembelajaran mesin dalam penyelidikan penjerapan gas.

Kajian itu bertajuk "Pendekatan berasaskan transformer komprehensif untuk ramalan penjerapan gas ketepatan tinggi dalam rangka kerja logam-organik" dan diterbitkan dalam "Nature Communications" pada 1 Mac 2024.

Pautan kertas: https://www.nature.com/articles/s41467-024-46276-x

Rangka kerja penjerapan bersatu diperlukan

Rangka kerja logam-organik kena bayar (MOFs) dan komponen kimia digunakan secara meluas dalam bidang seperti pengasingan gas.

Walaupun MOF mempunyai potensi besar untuk penjerapan gas, meramalkan kapasiti penjerapannya dengan tepat tetap menjadi cabaran.

Kaedah pengiraan seperti dinamik molekul dan Monte Carlo (MC) mempunyai kos pengiraan yang tinggi dan pelaksanaan yang kompleks, yang mengehadkan penggunaannya dalam pengiraan berskala besar, berbilang gas dan pemprosesan tinggi. Di samping itu, penjerapan gas beroperasi dalam pelbagai keadaan, menjadikan ramalan lebih kompleks.

Rangkaian neural graf dan Transformer telah ditunjukkan berjaya meramalkan sifat MOF.

Walaupun model sedia ada untuk meramal sifat penjerapan mempunyai prestasi tinggi dan keupayaan ramalan yang kuat, ia biasanya direka untuk satu tugas, secara khusus meramalkan kadar penyerapan penjerapan gas tertentu dalam keadaan tertentu. Walau bagaimanapun, set data yang tersedia untuk ramalan satu tugasan ini selalunya terhad, menghalang kebolehgeneralisasian model.

Sebaliknya, gabungan data berlabel daripada pelbagai gas terjerap di bawah persekitaran suhu dan tekanan yang berbeza boleh mencipta set data besar yang sesuai untuk latihan merentas keseluruhan keadaan operasi. Jumlah data yang meningkat juga boleh meningkatkan keupayaan generalisasi model dan meningkatkan kegunaan industri praktikalnya. Oleh itu, rangka kerja penjerapan bersatu diperlukan untuk memajukan model ini.

Selain itu, pembelajaran perwakilan ensembel, atau pra-latihan, untuk struktur MOF tidak berlabel berskala besar boleh meningkatkan lagi prestasi model dan keupayaan perwakilan.

Rangka Kerja Uni-MOF: Sesuai untuk penyelidikan saintifik dan aplikasi praktikal

Diilhamkan oleh ini, pasukan penyelidik mencadangkan rangka kerja Uni-MOF sebagai penyelesaian serba boleh yang menggunakan pembelajaran perwakilan struktur untuk meramalkan penjerapan gas MOF dalam keadaan berbeza.

Berbanding dengan model berasaskan Transformer lain (seperti MOFormer dan MOFTransformer), Uni-MOF, sebagai rangka kerja berasaskan Transformer, bukan sahaja boleh mengenal pasti dan memulihkan struktur tiga dimensi bahan berliang nano dalam pra-latihan, sekali gus menambah baik. prestasi bahan nanoporous. Dan tugas penalaan halus seterusnya mengambil kira keadaan operasi seperti suhu, tekanan dan molekul gas yang berbeza, menjadikan Uni-MOF sesuai untuk kedua-dua penyelidikan saintifik dan aplikasi praktikal.

Uni-MOF, sebagai penganggar penjerapan gas yang komprehensif untuk bahan MOF, hanya memerlukan fail maklumat kristal (CIF) MOF dan parameter gas, suhu dan tekanan yang berkaitan untuk meramalkan ciri penjerapan gas bahan berliang di bawah julat yang luas. keadaan operasi. . Rangka kerja Uni-MOF mudah digunakan dan membenarkan pemilihan modul.

Selain itu, masalah overfitting diselesaikan dengan berkesan dengan menggabungkan pelbagai data berlabel penyerapan silang sistem dengan pembelajaran perwakilan sejumlah besar data struktur tidak berlabel. Ini mengimbangi kedua-dua data berkualiti tinggi dan kekurangan data, akhirnya meningkatkan ketepatan ramalan penjerapan gas.

Rangka kerja Uni-MOF membolehkan ketepatan pengecaman bahan peringkat atom, manakala model bersepadu menjadikan Uni-MOF lebih sesuai untuk masalah kejuruteraan. Tidak syak lagi bahawa mencapai model yang benar-benar bersatu adalah hala tuju masa depan bidang bahan, dan bukannya hanya memfokus pada bidang khusus. Uni-MOF ialah amalan perintis pembelajaran mesin dalam bidang penjerapan gas.

Gambaran Keseluruhan Rangka Kerja Uni-MOF

Rangka kerja Uni-MOF termasuk pra-latihan kristal nanoliang tiga dimensi dan penalaan halus ramalan pelbagai tugas dalam aplikasi hiliran.

Rajah 1: Gambar rajah skema rangka kerja Uni-MOF. (Sumber: kertas)

Pra-latihan mengenai bahan kristal 3D dengan ketara meningkatkan prestasi ramalan tugas hiliran, terutamanya untuk data tidak berlabel berskala besar.

Untuk menyelesaikan masalah penyeliaan set data latihan yang tidak mencukupi, penyelidik mengumpul sejumlah besar set data struktur MOF dan menjana lebih daripada 300,000 MOF menggunakan ToBaCCo.3.0. Pembinaan COF berdaya tinggi berdasarkan Strategi Genomik Bahan dan Algoritma Perhimpunan Kuasi-Reaktif (QReaxAA) boleh dilaksanakan untuk mewujudkan perpustakaan COF yang komprehensif. Melalui konfigurasi spatial bahan, Uni-MOF dapat mempelajari sifat struktur bahan dengan baik, dan perkara yang paling penting ialah maklumat ikatan kimia.

Untuk membolehkan Uni-MOF mempelajari lebih banyak bahan yang pelbagai dan dengan itu meningkatkan keupayaan generalisasi kepada julat bahan yang lebih luas, MOF dan COF telah diperkenalkan secara maya dan eksperimen semasa proses pra-latihan. Sama seperti tugas pelabelan bertopeng dalam BERT dan Uni-Mol, Uni-MOF mengguna pakai tugas ramalan atom bertopeng, dengan itu memudahkan model pra-latihan untuk mendapatkan pemahaman yang mendalam tentang struktur spatial bahan.

Untuk meningkatkan keteguhan pra-latihan dan menyamaratakan representasi yang dipelajari, para penyelidik memperkenalkan bunyi pada koordinat asal MOF. Dalam fasa pra-latihan, dua tugasan direka bentuk. (1) Bina semula kedudukan 3D asal daripada data bising, dan (2) ramalkan atom terlindung. Tugasan ini boleh meningkatkan keteguhan model dan meningkatkan prestasi ramalan hiliran.

Selain konfigurasi spatial yang pelbagai, set titik data sifat material yang komprehensif juga penting untuk latihan model. Untuk memperkayakan set data, penyelidik mewujudkan proses penjanaan data tersuai (ditunjukkan dalam Rajah 1b).

Penalaan halus Uni-MOF adalah berdasarkan pengekstrakan perwakilan yang diperoleh melalui pra-latihan dan penggunaan aliran kerja buatan sendiri untuk menjana dan mengumpul set data yang besar. Semasa proses penalaan halus, kira-kira 3,000,000 titik data berlabel di bawah pelbagai keadaan penjerapan untuk MOF dan COF telah digunakan untuk melatih model, membolehkan ramalan tepat kapasiti penjerapan.

Dengan pangkalan data data sasaran silang sistem yang pelbagai, Uni-MOF yang diperhalusi boleh meramalkan sifat penjerapan berbilang sistem MOF di mana-mana negeri. Oleh itu, Uni-MOF ialah rangka kerja bersatu dan mudah digunakan untuk meramal prestasi penjerapan penjerap MOF.

Paling penting, Uni-MOF tidak memerlukan tenaga kerja tambahan untuk mengenal pasti ciri struktur yang ditentukan oleh manusia. Sebaliknya, CIF MOF dan parameter gas, suhu dan tekanan yang berkaitan adalah mencukupi. Strategi pembelajaran yang diselia sendiri dan pangkalan data yang kaya memastikan Uni-MOF dapat meramalkan sifat penjerapan gas bahan berliang nano di bawah pelbagai parameter operasi, menjadikannya penganggar yang mahir bagi penjerapan gas untuk bahan MOF.

Ketepatan ramalan sehingga 0.98, meramalkan merentas sistem

Kajian ini melakukan pembelajaran penyeliaan kendiri pada pangkalan data lebih daripada 631,000 MOF dan COF, dengan ketepatan ramalan sehingga 0.98. Ini menunjukkan bahawa rangka kerja pembelajaran perwakilan berdasarkan pra-latihan 3D secara berkesan mempelajari maklumat struktur kompleks MOF sambil mengelakkan pemasangan berlebihan.

Menggunakan Uni-MOF untuk meramalkan prestasi penjerapan gas bagi tiga pangkalan data utama (hMOF_MOFX-DB, CoRE_MOFX-DB dan CoRE_MAP_DB), mencapai ketepatan ramalan sehingga 0.98 dalam pangkalan data dengan data yang mencukupi.

Rajah 2: Prestasi keseluruhan Uni-MOF dalam pangkalan data berskala besar. (Sumber: kertas)

Apabila set data dijadikan sampel sepenuhnya, Uni-MOF bukan sahaja mengekalkan ketepatan ramalan lebih daripada 0.83, tetapi juga boleh memilih penjerap berprestasi tinggi dengan tepat di bawah tekanan tinggi hanya dengan meramalkan penjerapan pada tekanan rendah keputusan saringan eksperimen adalah konsisten. Oleh itu Uni-MOF mewakili satu kejayaan besar dalam penerapan teknik pembelajaran mesin dalam bidang sains bahan.

Rajah 3: Isoterma penjerapan berdasarkan ramalan tekanan rendah dan nilai eksperimen tekanan tinggi, setiap lengkung mewakili kesesuaian Langmuir. (Sumber: kertas)

Di samping itu, berbanding dengan tugasan sistem tunggal, rangka kerja Uni-MOF menunjukkan prestasi unggul pada set data silang sistem dan boleh meramal dengan tepat ciri penjerapan gas yang tidak diketahui dengan ketepatan ramalan setinggi 0.85, menunjukkan kuasa ramalan kuasa dan serba boleh.

Rajah 4: Kes ramalan silang sistem Uni-MOF. (Sumber: kertas)

Penyelidikan menunjukkan bahawa strategi pembelajaran penyeliaan kendiri yang telah dilatih secara berkesan boleh meningkatkan kekukuhan dan prestasi ramalan hiliran Uni-MOF.

Rajah 5: Perbandingan Uni-MOF dan Uni-MOF tanpa pra-latihan. (Sumber: kertas)

Melalui pra-latihan meluas mengenai struktur tiga dimensi, Uni-MOF secara berkesan mempelajari ciri-ciri struktur MOF, mencapai pekali penentuan tinggi 0.99 untuk hMOF.

Rajah 6: Ramalan dan analisis ciri-ciri struktur. (Sumber: kertas)

Tambahan pula, analisis t-SNE (t-distributed stochastic neighbor embedding) mengesahkan bahawa peringkat penalaan halus boleh mempelajari lebih lanjut ciri struktur dan boleh mengenal pasti struktur dengan tingkah laku penjerap yang berbeza dengan baik, menunjukkan bahawa perwakilan yang dipelajari Terdapat korelasi yang kuat dengan sasaran penjerapan gas.

Rajah 7: Visualisasi perwakilan struktur MOF dalam set data hMOF dan CoRE_MOF, benam berdimensi rendah yang dikira dengan kaedah t-SNE. (Sumber: kertas)

Ringkasnya, rangka kerja Uni-MOF berfungsi sebagai platform ramalan pelbagai fungsi untuk bahan MOF dan bertindak sebagai penganggar penjerapan gas untuk MOF dengan ketepatan tinggi dalam meramalkan penjerapan gas di bawah keadaan operasi yang berbeza, di lapangan. sains bahan Ia mempunyai prospek aplikasi yang luas.

Atas ialah kandungan terperinci Ketepatan ramalan adalah setinggi 0.98 Universiti Tsinghua, Teknologi Shenzhen dan lain-lain mencadangkan rangka kerja ramalan pelbagai fungsi untuk bahan MOF berdasarkan Transformer.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!