


Asas AI4Science: rangkaian neural graf geometri, semakan paling komprehensif ada di sini! Renmin University of China Hillhouse mengeluarkan bersama makmal AI Tencent, Universiti Tsinghua, Stanford, dsb.
Editor |. XS
Nature menerbitkan dua hasil penyelidikan penting pada November 2023: teknologi sintesis protein Chroma dan kaedah reka bentuk bahan kristal GNoME. Kedua-dua kajian menggunakan rangkaian saraf graf sebagai alat untuk memproses data saintifik.
Malah, rangkaian saraf graf, terutamanya rangkaian saraf graf geometri, sentiasa menjadi alat penting untuk penyelidikan kecerdasan saintifik (AI untuk Sains). Ini kerana sistem fizikal seperti zarah, molekul, protein dan kristal dalam bidang saintifik boleh dimodelkan kepada struktur data khas—graf geometri.
Berbeza daripada rajah topologi umum, untuk menerangkan sistem fizikal dengan lebih baik, rajah geometri menambah maklumat spatial yang sangat diperlukan dan perlu memenuhi simetri fizikal terjemahan, putaran dan lilitan. Memandangkan keunggulan rangkaian saraf graf geometri untuk memodelkan sistem fizikal, pelbagai kaedah telah muncul dalam beberapa tahun kebelakangan ini, dan bilangan kertas kerja terus berkembang.
Baru-baru ini, Renmin University of China Hillhouse, bersama dengan Tencent AI Lab, Tsinghua University, Stanford dan institusi lain, mengeluarkan kertas ulasan: "A Survey of Geometric Graph Neural Networks: Data Structures, Models and Applications". Berdasarkan pengenalan ringkas kepada pengetahuan teori seperti teori kumpulan dan simetri, kajian ini mengkaji secara sistematik literatur rangkaian saraf graf geometri yang berkaitan daripada struktur dan model data kepada pelbagai aplikasi saintifik.
Pautan kertas:https://arxiv.org/abs/2403.00485
Pautan GitHub:https://github.com/RUC-GLAD/GGNN4ScienceDalam ulasan ini
meneliti lebih daripada 300 rujukan, kami meringkaskan 3 model rangkaian saraf graf geometri yang berbeza, memperkenalkan kaedah berkaitan untuk sejumlah 23 tugasan berbeza pada pelbagai data saintifik seperti zarah, molekul dan protein, dan mengumpul lebih daripada 50 set data yang berkaitan. Akhir sekali, semakan menantikan arah penyelidikan masa hadapan, termasuk model asas graf geometri, gabungan dengan model bahasa besar, dsb.
Berikut adalah pengenalan ringkas untuk setiap bab.
Struktur data graf geometri
Graf geometri terdiri daripada matriks bersebelahan, ciri nod, maklumat geometri nod (seperti koordinat). Dalam ruang Euclidean, angka geometri biasanya menunjukkan simetri fizikal terjemahan, putaran dan pantulan Kumpulan biasanya digunakan untuk menggambarkan transformasi ini, termasuk kumpulan Euclidean, kumpulan terjemahan, kumpulan ortogon, kumpulan pilih atur, dll. Secara intuitif, ia boleh difahami sebagai gabungan empat operasi: anjakan, terjemahan, putaran dan membalikkan dalam susunan tertentu.
Bagi kebanyakan bidang AI untuk Sains, graf geometri ialah kaedah perwakilan yang berkuasa dan serba boleh, yang boleh digunakan untuk mewakili banyak sistem fizikal, termasuk molekul kecil, protein, kristal, awan titik fizikal, dsb.
Model rangkaian saraf graf geometri
Mengikut keperluan simetri matlamat penyelesaian dalam masalah sebenar, artikel ini membahagikan rangkaian saraf graf geometri kepada tiga kategori: model invarian dan model Geometri Setara, dan model Graph Transformer diilhamkan oleh seni bina Transformer, di mana model setara dibahagikan kepada model berasaskan skalarisasi dan model boleh dikendalikan darjah tinggi berdasarkan pengharmonian sfera (Model Boleh Dikendali Darjah Tinggi). Mengikut peraturan di atas, artikel itu mengumpul dan mengkategorikan model rangkaian saraf graf geometri yang terkenal dalam beberapa tahun kebelakangan ini.
Di sini kami memperkenalkan secara ringkas hubungan antara model invarian (SchNet[1]), model kaedah skalar (EGNN[2]), dan model terkawal peringkat tinggi (TFN[3]) melalui kerja perwakilan setiap cabang dan perbezaan. Boleh didapati bahawa ketiga-tiganya menggunakan mekanisme hantaran mesej, tetapi dua yang terakhir, yang merupakan model setara, memperkenalkan hantaran mesej geometri tambahan.
Model invarian terutamanya menggunakan ciri nod itu sendiri (seperti jenis atom, jisim, cas, dsb.) dan ciri invarian antara atom (seperti jarak, sudut [4], sudut dihedral [5]), dsb. . untuk mengira mesej Kemudian disebarkan.
Selain itu, kaedah penskalaan tambahan memperkenalkan maklumat geometri melalui perbezaan koordinat antara nod, dan secara linear menggabungkan maklumat invarian sebagai berat maklumat geometri untuk mencapai pengenalan kesetaraan.
Model terkawal tertib tinggi menggunakan matriks Spherical Harmonik dan Wigner-D tertib tinggi untuk mewakili maklumat geometri sistem ini mengawal susunan perwakilan tidak boleh dikurangkan melalui pekali Clebsch–Gordan dalam mekanik kuantum proses.
Ketepatan rangkaian saraf graf geometri dipertingkatkan dengan banyak melalui simetri yang dijamin oleh reka bentuk jenis ini, dan ia juga bersinar dalam tugas penjanaan.
Rajah di bawah menunjukkan keputusan tiga tugas ramalan sifat molekul, dok protein-ligan dan reka bentuk antibodi (penjanaan) menggunakan rangkaian saraf graf geometri dan model tradisional pada tiga set data QM9, PDBBind dan SabDab It dapat dilihat dengan jelas bahawa Kelebihan rangkaian saraf graf geometri.
Aplikasi Saintifik
Dari segi aplikasi saintifik, semakan meliputi fizik (zarah), biokimia (molekul kecil, protein) dan senario aplikasi lain seperti kristal, definisi tugas dan mulakan jaminan simetri yang diperlukan , set data yang biasa digunakan dalam setiap tugasan dan idea reka bentuk model klasik dalam jenis tugasan ini diperkenalkan.
Jadual di atas menunjukkan tugas biasa dan model klasik dalam pelbagai bidang Antaranya, mengikut contoh tunggal dan berbilang kejadian (seperti tindak balas kimia, yang memerlukan penyertaan berbilang molekul), artikel itu membezakan molekul kecil secara berasingan. molekul kecil, molekul kecil -Protein, protein - tiga bidang protein.
Untuk memudahkan reka bentuk model dan pembangunan percubaan dalam lapangan dengan lebih baik, artikel itu mengira set data biasa dan penanda aras untuk dua jenis tugasan berdasarkan satu tika dan berbilang kejadian, serta merekodkan saiz sampel dan jenis tugasan set data yang berbeza. .
Jadual berikut meringkaskan set data tugasan satu contoh biasa.
Jadual berikut menyusun set data tugasan berbilang contoh biasa. . keunggulan model asas telah dicerminkan sepenuhnya dalam kemajuan ketara model siri GPT. Bagaimana untuk menjalankan reka bentuk yang munasabah dalam ruang tugas, ruang data dan ruang model, untuk memperkenalkan idea ini ke dalam reka bentuk rangkaian neural graf geometri, masih menjadi masalah terbuka yang menarik.
2. Kitaran latihan model yang cekap dan pengesahan percubaan dunia sebenar
Pemerolehan data saintifik adalah mahal dan memakan masa, dan model yang hanya dinilai pada set data bebas tidak boleh secara langsung mencerminkan maklum balas daripada dunia sebenar. Kepentingan bagaimana untuk mencapai paradigma eksperimen berulang model-realiti yang cekap serupa dengan GNoME (yang menyepadukan saluran paip hujung ke hujung termasuk latihan rangkaian graf, pengiraan teori fungsi ketumpatan dan makmal automatik untuk penemuan dan sintesis bahan) akan Ia akan meningkat setiap hari. hari.
3. Integrasi dengan Model Bahasa Besar (LLM)
Model Bahasa Besar (LLM) telah terbukti secara meluas mempunyai pengetahuan yang kaya, meliputi pelbagai bidang. Walaupun terdapat beberapa kerja yang menggunakan LLM untuk tugas tertentu, seperti ramalan sifat molekul dan reka bentuk ubat, ia hanya beroperasi pada primitif atau graf molekul. Cara menggabungkannya secara organik dengan rangkaian neural graf geometri supaya mereka boleh memproses maklumat struktur 3D dan melakukan ramalan atau penjanaan pada struktur 3D masih agak mencabar.
4. Kelonggaran kekangan kesetaraan
Tidak syak lagi bahawa kesetaraan adalah penting untuk meningkatkan kecekapan data dan keupayaan generalisasi model, tetapi perlu diperhatikan bahawa kekangan kesetaraan yang terlalu kuat kadangkala boleh menjejaskan modelnya prestasi. Oleh itu, bagaimana untuk mengimbangi kesetaraan dan kebolehsuaian model yang direka bentuk adalah persoalan yang sangat menarik. Penerokaan dalam bidang ini bukan sahaja dapat memperkayakan pemahaman kita tentang tingkah laku model, tetapi juga membuka jalan untuk pembangunan penyelesaian yang lebih mantap dan umum dengan kebolehgunaan yang lebih luas.
Rujukan
[1] Schütt K, Kindermans P J, Sauceda Felix H E, et al: Rangkaian saraf konvolusi penapis berterusan untuk memodelkan interaksi kuantum [J]. .
[2] Satorras V G, Hoogeboom E, Welling M. E (n) rangkaian neural graf setara[C]//Persidangan antarabangsa mengenai pembelajaran mesin. PMLR, 2021: 9323-9332.
[3] Thomas N, Smidt T, Kearnes S, et al. Rangkaian medan tensor: Rangkaian neural setara putaran dan terjemahan untuk awan titik 3d[J]. pracetak arXiv arXiv:1802.08219, 2018.
[4] Gasteiger J, Groß J, Günnemann S. Mesej Arah Lulus untuk Graf Molekul[C]//Persidangan Antarabangsa mengenai Perwakilan Pembelajaran. 2019.
[5] Gasteiger J, Becker F, Günnemann S. Gemnet: Rangkaian neural graf arah universal untuk molekul[J]. Kemajuan dalam Sistem Pemprosesan Maklumat Neural, 2021, 34: 6790-6802.
[6] Pedagang A, Batzner S, Schoenholz S S, et al. Menskalakan pembelajaran mendalam untuk penemuan bahan[J]. Alam Semula Jadi, 2023, 624(7990): 80-85.
Atas ialah kandungan terperinci Asas AI4Science: rangkaian neural graf geometri, semakan paling komprehensif ada di sini! Renmin University of China Hillhouse mengeluarkan bersama makmal AI Tencent, Universiti Tsinghua, Stanford, dsb.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Dalam buku seminal John Rawls pada tahun 1971 The Theory of Justice, beliau mencadangkan percubaan pemikiran yang harus kita ambil sebagai inti reka bentuk AI hari ini dan menggunakan keputusan: tudung kejahilan. Falsafah ini menyediakan alat yang mudah untuk memahami ekuiti dan juga menyediakan pelan tindakan untuk pemimpin untuk menggunakan pemahaman ini untuk mereka bentuk dan melaksanakan AI dengan cara yang saksama. Bayangkan anda membuat peraturan untuk masyarakat baru. Tetapi ada premis: anda tidak tahu terlebih dahulu apa peranan yang akan anda mainkan dalam masyarakat ini. Anda mungkin menjadi kaya atau miskin, sihat atau kurang upaya, milik majoriti atau minoriti marginal. Beroperasi di bawah "VEIL OF KETIGA" ini menghalang pembuat peraturan daripada membuat keputusan yang memberi manfaat kepada diri mereka sendiri. Sebaliknya, orang akan lebih bermotivasi untuk merumuskan orang ramai

Banyak syarikat yang mengkhususkan diri dalam Automasi Proses Robot (RPA), menawarkan bot untuk mengautomasikan tugas berulang -UIPATH, Automasi di mana sahaja, Prism Blue, dan lain -lain. Sementara itu, proses perlombongan, orkestrasi, dan pemprosesan dokumen pintar Special

Masa depan AI bergerak melampaui ramalan kata mudah dan simulasi perbualan; Ejen AI muncul, mampu tindakan bebas dan penyelesaian tugas. Peralihan ini sudah jelas dalam alat seperti Claude Anthropic. Ejen AI: Penyelidikan a

Kemajuan teknologi yang pesat memerlukan perspektif yang berpandangan ke hadapan pada masa depan kerja. Apa yang berlaku apabila AI melampaui peningkatan produktiviti semata -mata dan mula membentuk struktur masyarakat kita? Buku yang akan datang Topher McDougal, Gaia Wakes:

Klasifikasi produk, sering melibatkan kod kompleks seperti "HS 8471.30" dari sistem seperti sistem harmoni (HS), adalah penting untuk perdagangan antarabangsa dan jualan domestik. Kod ini memastikan permohonan cukai yang betul, memberi kesan kepada setiap inv

Masa Depan Penggunaan Tenaga di Pusat Data dan Pelaburan Teknologi Iklim Artikel ini menerangkan lonjakan penggunaan tenaga di pusat data yang didorong oleh AI dan kesannya terhadap perubahan iklim, dan menganalisis penyelesaian inovatif dan cadangan dasar untuk menangani cabaran ini. Cabaran Permintaan Tenaga: Pusat data besar-besaran dan ultra-besar menggunakan kuasa besar, setanding dengan jumlah beratus-ratus ribu keluarga Amerika Utara yang biasa, dan pusat-pusat skala ultra-besar AI yang muncul menggunakan puluhan kali lebih banyak kuasa daripada ini. Dalam lapan bulan pertama 2024, Microsoft, Meta, Google dan Amazon telah melabur kira -kira AS $ 125 bilion dalam pembinaan dan operasi pusat data AI (JP Morgan, 2024) (Jadual 1). Permintaan tenaga yang semakin meningkat adalah satu cabaran dan peluang. Menurut Canary Media, elektrik yang menjulang

AI Generatif merevolusi pengeluaran filem dan televisyen. Model Ray 2 Luma, serta Runway's Gen-4, Openai's Sora, Veo Google dan model-model baru yang lain, meningkatkan kualiti video yang dihasilkan pada kelajuan yang belum pernah terjadi sebelumnya. Model-model ini dengan mudah boleh mewujudkan kesan khas yang kompleks dan adegan yang realistik, walaupun klip video pendek dan kesan gerakan yang diperolehi oleh kamera telah dicapai. Walaupun manipulasi dan konsistensi alat -alat ini masih perlu diperbaiki, kelajuan kemajuan adalah menakjubkan. Video generatif menjadi medium bebas. Sesetengah model baik pada pengeluaran animasi, sementara yang lain baik pada imej aksi langsung. Perlu diingat bahawa Firefly Adobe dan Moonvalley's Ma

Pengalaman Pengguna CHATGPT Menolak: Adakah Degradasi Model atau Harapan Pengguna? Baru -baru ini, sebilangan besar pengguna berbayar ChatGPT telah mengadu tentang kemerosotan prestasi mereka, yang telah menarik perhatian yang meluas. Pengguna melaporkan tindak balas yang lebih perlahan terhadap model, jawapan yang lebih pendek, kekurangan bantuan, dan lebih banyak halusinasi. Sesetengah pengguna menyatakan rasa tidak puas hati di media sosial, menunjukkan bahawa ChatGPT telah menjadi "terlalu menyanjung" dan cenderung untuk mengesahkan pandangan pengguna dan bukannya memberikan maklum balas kritikal. Ini bukan sahaja memberi kesan kepada pengalaman pengguna, tetapi juga membawa kerugian sebenar kepada pelanggan korporat, seperti mengurangkan produktiviti dan pembaziran sumber pengkomputeran. Bukti kemerosotan prestasi Ramai pengguna telah melaporkan kemerosotan yang ketara dalam prestasi CHATGPT, terutamanya dalam model yang lebih lama seperti GPT-4 (yang tidak lama lagi akan dihentikan dari perkhidmatan pada akhir bulan ini). ini


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

EditPlus versi Cina retak
Saiz kecil, penyerlahan sintaks, tidak menyokong fungsi gesaan kod

VSCode Windows 64-bit Muat Turun
Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft

SecLists
SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.

ZendStudio 13.5.1 Mac
Persekitaran pembangunan bersepadu PHP yang berkuasa
