Rumah > Artikel > Peranti teknologi > Pasukan Tsinghua mencadangkan rangka kerja pra-latihan Transformer graf berpandukan pengetahuan: kaedah untuk meningkatkan pembelajaran perwakilan molekul
Untuk menggalakkan ramalan sifat molekul, dalam bidang penemuan dadah, adalah sangat penting untuk mempelajari molekul yang berkesan perwakilan ciri. Baru-baru ini, orang ramai telah mengatasi cabaran kekurangan data dengan pra-latihan rangkaian saraf graf (GNN) menggunakan teknik pembelajaran yang diselia sendiri. Walau bagaimanapun, terdapat dua masalah utama dengan kaedah semasa berdasarkan pembelajaran penyeliaan kendiri: kekurangan strategi pembelajaran penyeliaan kendiri yang jelas dan keupayaan terhad GNN
Baru-baru ini, penyelidikan dari Universiti Tsinghua, West Lake University dan Makmal Zhijiang Pasukan itu mencadangkan Latihan Pra-latihan Pengubah Graf (KPGT) berpandukan Pengetahuan, rangka kerja pembelajaran diselia sendiri yang menyediakan ramalan sifat molekul yang lebih baik, boleh digeneralisasikan dan Teguh. Rangka kerja KPGT menyepadukan Transformer graf yang direka khusus untuk graf molekul dan strategi pra-latihan berpandukan pengetahuan untuk menangkap sepenuhnya pengetahuan struktur dan semantik molekul.
Melalui ujian pengiraan yang meluas pada 63 set data, KPGT telah menunjukkan prestasi unggul dalam meramalkan sifat molekul dalam pelbagai bidang. Tambahan pula, kebolehgunaan praktikal KPGT dalam penemuan ubat telah disahkan dengan mengenal pasti perencat berpotensi dua sasaran antitumor. Secara keseluruhan, KPGT boleh menyediakan alat yang berkuasa dan berguna untuk memajukan proses penemuan dadah berbantukan AI.
Penyelidikan itu bertajuk "Rangka kerja pra-latihan berpandukan pengetahuan untuk meningkatkan pembelajaran perwakilan molekul" dan diterbitkan dalam "Nature Communications" pada 21 November 2023.
Menentukan sifat molekul secara eksperimen memerlukan masa dan sumber yang penting, dan mengenal pasti molekul dengan sifat yang dikehendaki adalah salah satu cabaran paling ketara dalam penemuan ubat. Dalam beberapa tahun kebelakangan ini, kaedah berasaskan kecerdasan buatan telah memainkan peranan yang semakin penting dalam meramalkan sifat molekul. Salah satu cabaran utama kaedah berasaskan kecerdasan buatan untuk meramalkan sifat molekul ialah pencirian molekul
Dalam beberapa tahun kebelakangan ini, kaedah berasaskan pembelajaran mendalam telah muncul sebagai alat yang berpotensi berguna untuk meramalkan sifat molekul, terutamanya kerana keupayaan mereka untuk Keupayaan cemerlang untuk mengekstrak ciri berkesan secara automatik daripada data input mudah. Terutamanya, pelbagai seni bina rangkaian saraf, termasuk rangkaian saraf berulang (RNN), rangkaian saraf konvolusi (CNN), dan rangkaian saraf graf (GNN), mahir memodelkan data molekul dalam pelbagai format, daripada input molekul dipermudahkan kepada sistem input Line ( SMILES) kepada imej molekul dan gambar rajah molekul. Walau bagaimanapun, ketersediaan terhad molekul penanda dan keluasan ruang kimia mengehadkan prestasi ramalan mereka, terutamanya apabila berurusan dengan sampel data luar pengedaran.
Dengan pencapaian luar biasa kaedah pembelajaran penyeliaan sendiri dalam bidang pemprosesan bahasa semula jadi dan penglihatan komputer, teknik ini telah digunakan untuk pra-melatih GNN dan meningkatkan pembelajaran perwakilan molekul, dengan itu melaksanakan molekul hiliran tugas ramalan harta Kemajuan besar telah dicapai dalam
Penyelidik membuat hipotesis bahawa memperkenalkan pengetahuan tambahan yang secara kuantitatif menerangkan ciri molekul ke dalam rangka kerja pembelajaran yang diselia sendiri dapat menangani cabaran ini dengan berkesan. Molekul mempunyai banyak ciri kuantitatif, seperti deskriptor molekul dan cap jari, yang boleh diperoleh dengan mudah dengan alat pengiraan yang sedia ada. Mengintegrasikan pengetahuan tambahan ini boleh memperkenalkan maklumat semantik molekul yang kaya ke dalam pembelajaran yang diselia sendiri, dengan itu meningkatkan pemerolehan perwakilan molekul yang kaya secara semantik.
Secara amnya, kaedah pembelajaran penyeliaan kendiri sedia ada bergantung pada GNN sebagai model teras. Walau bagaimanapun, GNN mempunyai kapasiti model yang terhad. Tambahan pula, GNN boleh mengalami kesukaran menangkap interaksi jarak jauh antara atom. Dan model berasaskan Transformer telah menjadi model yang mengubah permainan. Ia dicirikan oleh peningkatan bilangan parameter dan keupayaan untuk menangkap interaksi jarak jauh, menyediakan pendekatan yang menjanjikan untuk memodelkan ciri-ciri struktur molekul secara menyeluruh
#🎜🎜T# Kandungan ditulis semula ialah: Carta: KPG Gambaran Keseluruhan . (Sumber: kertas)
KPGT mengatasi kaedah asas dalam ramalan sifat molekul. Berbanding dengan beberapa kaedah asas, KPGT mencapai peningkatan ketara pada 63 set data.
Selain itu, aplikasi praktikal KPGT telah ditunjukkan dengan berjaya menggunakan KPGT untuk mengenal pasti potensi perencat dua sasaran anti-tumor, hematopoietik progenitor kinase 1 (HPK1) dan reseptor faktor pertumbuhan fibroblast (FGFR1).
Walaupun kelebihan KPGT dalam ramalan sifat molekul yang berkesan, masih terdapat beberapa batasan.
Secara keseluruhannya, KPGT menyediakan rangka kerja pembelajaran penyeliaan kendiri yang berkuasa untuk pembelajaran perwakilan molekul yang berkesan, dengan itu memajukan bidang penemuan dadah berbantukan kecerdasan buatan.
Pautan kertas: https://www.nature.com/articles/s41467-023-43214-1
Atas ialah kandungan terperinci Pasukan Tsinghua mencadangkan rangka kerja pra-latihan Transformer graf berpandukan pengetahuan: kaedah untuk meningkatkan pembelajaran perwakilan molekul. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!