Pasukan Tsinghua Zhu Wenwu: AutoGL-light, perpustakaan pembelajaran mesin automatik ringan pertama di dunia untuk graf dalam sumber terbuka

Profesor Zhu Wenwu dari pasukan Universiti Tsinghua telah membuat kemajuan baharu dalam kebolehtafsiran dan kebolehgeneralisasian pembelajaran mesin automatik graf sejak keluaran AutoGL pada tahun 2020, dengan tumpuan khusus pada Pengubah graf dan pengedaran graf di luar pengedaran (OOD). , pembelajaran penyeliaan kendiri graf, dsb., menerbitkan penanda aras penilaian carian seni bina saraf graf, dan mengeluarkan perpustakaan kecerdasan ringan pertama (AutoGL-light) pada platform perkhidmatan inovasi sumber terbuka generasi baharu China GitLink.

Tinjauan Perpustakaan Perisikan

Graf ialah abstraksi umum yang menerangkan hubungan antara data Ia digunakan secara meluas dalam bidang penyelidikan yang berbeza dan mempunyai banyak aplikasi penting, seperti analisis rangkaian sosial, sistem pengesyoran, ramalan trafik dan lain-lain. Aplikasi Internet, penemuan ubat baharu, penyediaan bahan baharu dan aplikasi saintifik lain (AI untuk Sains) merangkumi pelbagai bidang yang berbeza. Pembelajaran mesin graf telah mendapat perhatian yang meluas dalam beberapa tahun kebelakangan ini. Memandangkan data graf berbeza berbeza secara meluas dalam struktur, sifat dan tugas, model pembelajaran mesin graf yang direka bentuk secara manual tidak mempunyai keupayaan untuk membuat generalisasi kepada senario yang berbeza dan perubahan persekitaran. AutoML on Graphs ialah barisan hadapan pembangunan pembelajaran mesin graf Ia bertujuan untuk mereka bentuk model pembelajaran mesin graf yang optimum untuk data dan tugasan tertentu. Ia mempunyai nilai yang tinggi dalam kedua-dua penyelidikan dan aplikasi.

Sebagai tindak balas kepada masalah pembelajaran mesin automatik pada graf, pasukan Profesor Zhu Wenwu dari Universiti Tsinghua mula merancang pada 2017 dan mengeluarkan AutoGL pada 2020 - platform dan kit alat pertama di dunia untuk pembelajaran mesin automatik pada graf.

Alamat projek: https://github.com/THUMNLab/AutoGL

Pustaka pintar telah menerima lebih seribu bintang di GitHub, menarik puluhan ribu lawatan dan wilayah dari lebih 20 negara , dan diterbitkan pada GitLink. Perpustakaan pintar termasuk set lengkap proses pembelajaran mesin automatik graf, meliputi kaedah pembelajaran mesin automatik graf arus perdana. Melalui penyelesaian pembelajaran mesin automatik graf AutoGL Solver, Zhitu membahagikan pembelajaran mesin automatik pada graf kepada lima bahagian teras: kejuruteraan ciri automatik graf, carian seni bina saraf graf (NAS), pengoptimuman hiperparameter graf (HPO), latihan model graf dan automatik penyepaduan model graf. Pustaka pintar sudah menyokong pelbagai jenis tugas graf seperti klasifikasi nod, klasifikasi nod graf heterogen, ramalan pautan dan klasifikasi graf.

Kemajuan baharu dalam penyelidikan pembelajaran mesin graf automatik

Memandangkan kekurangan kebolehtafsiran dan kebolehgeneralisasian pembelajaran mesin graf automatik semasa, pasukan Zhitu telah membuat satu siri kemajuan baharu dalam penyelidikan pembelajaran mesin automatik graf.

1. Carian seni bina graf di luar pengedaran (OOD) pembelajaran diselia sendiri dicadangkan Dengan menyesuaikan seni bina rangkaian saraf graf yang sesuai untuk setiap sampel graf, kebolehsuaian kaedah carian seni bina saraf graf untuk mengendalikan anjakan pengedaran data dipertingkatkan dengan berkesan. Kerja ini telah diterbitkan di ICML 2022, persidangan antarabangsa teratas mengenai pembelajaran mesin.

Alamat kertas: https://proceedings.mlr.press/v162/qin22b/qin22b.pdf

2. Carian tidak boleh menangani masalah graf berskala besar Kaedah latihan supernetwork berdasarkan mekanisme persampelan bersama seni bina-subgraf dicadangkan Melalui persampelan kepentingan dan algoritma pembelajaran rakan sebaya, kesesakan konsistensi dalam proses persampelan dipecahkan meningkatkan kecekapan carian seni bina saraf graf dan membolehkan mesin tunggal memproses berbilion data graf sebenar untuk kali pertama. Kerja ini telah diterbitkan di ICML 2022, persidangan antarabangsa teratas mengenai pembelajaran mesin.

Alamat kertas: https://proceedings.mlr.press/v162/guan22d.html

3

Memandangkan kekurangan piawaian penilaian bersatu untuk carian seni bina saraf graf dan jumlah besar sumber pengkomputeran yang digunakan dalam proses penilaian, pasukan Zhitu menyelidik dan mencadangkan penanda aras carian seni bina saraf graf NAS-Bench-Graph, graf pertama Tanda aras carian seni bina saraf Penanda aras tabular. Penanda aras ini boleh membandingkan kaedah carian seni bina saraf graf yang berbeza dengan cekap, adil dan boleh dihasilkan semula, mengisi jurang di mana tiada penanda aras untuk carian seni bina data graf. NAS-Bench-Graph mereka bentuk ruang carian yang mengandungi 26,206 seni bina rangkaian saraf graf berbeza, menggunakan 9 data graf pengelasan nod yang biasa digunakan dengan saiz dan jenis yang berbeza, dan menyediakan kesan model terlatih sepenuhnya, yang boleh digunakan dalam Sambil memastikan kebolehulangan dan perbandingan yang saksama, sumber pengkomputeran sangat berkurangan. Kerja ini telah diterbitkan di NeurIPS 2022, persidangan antarabangsa teratas mengenai pembelajaran mesin. . Seni bina Transformer Untuk masalah prestasi ramalan yang optimum, rangka kerja carian seni bina Transformer automatik dicadangkan Melalui ruang carian Transformer graf bersatu dan strategi penilaian prestasi yang sedar struktur, ia menyelesaikan masalah yang mereka bentuk Transformer graf yang optimum memakan masa. dan sukar untuk mendapatkan seni bina yang optimum. Karya ini Diterbitkan di ICLR 2023, persidangan antarabangsa terbaik mengenai pembelajaran mesin. . memerangi masalah itu, kaedah carian seni bina saraf graf yang teguh dicadangkan Dengan menambahkan pengendali graf yang teguh dalam ruang carian dan mencadangkan penunjuk penilaian kekukuhan semasa proses carian, keupayaan carian seni bina saraf graf untuk menahan serangan musuh dipertingkatkan. Karya ini telah diterbitkan di CVPR 2023, persidangan antarabangsa teratas mengenai pengecaman corak.

Alamat kertas: https://openaccess.thecvf.com/content/CVPR2023/papers/Xie_Adversarially_Robust_Neural_Architecture_Search_for_Graph_Neural_Networks_2🜎2.pdf

6. Carian Seni Bina Neural Graf

Graf sedia ada Carian seni bina saraf sangat bergantung pada label sebagai penunjuk untuk melatih dan mencari seni bina, mengehadkan aplikasi pembelajaran mesin automatik graf dalam senario kebuluran label. Sebagai tindak balas kepada masalah ini, pasukan Zhitu mencadangkan kaedah carian seni bina saraf graf yang diselia sendiri, menemui potensi hubungan antara faktor graf yang mendorong pembentukan data graf dan seni bina saraf yang optimum, dan menerima pakai graf penyeliaan sendiri yang dipisahkan oleh novel. seni bina saraf Model carian merealisasikan carian yang berkesan untuk seni bina optimum pada data graf tidak berlabel. Kerja ini telah diterima ke dalam NeurIPS 2023, persidangan teratas tentang pembelajaran mesin.

7. Carian seni bina saraf graf berbilang tugas

Memandangkan masalah carian seni bina saraf graf yang sedia ada tidak dapat mempertimbangkan perbezaan dalam keperluan seni bina bagi pasukan berbeza yang pertama, Zhitu mencadangkan graf berbilang tugas Kaedah carian seni bina rangkaian saraf secara berkesan merealisasikan seni bina optimum tersuai untuk tugasan graf yang berbeza dengan secara serentak mereka bentuk seni bina optimum untuk tugas graf yang berbeza dan menggunakan pembelajaran kursus untuk menangkap hubungan kerjasama antara tugasan yang berbeza. Kerja ini telah diterima ke dalam NeurIPS 2023, persidangan teratas tentang pembelajaran mesin.

Lightweight Intelligent Graph

Berdasarkan kemajuan penyelidikan di atas, pasukan Intelligent Graph mengeluarkan AutoGL-light, pembelajaran mesin automatik graf ringan pertama di dunia, pada platform sumber terbuka sumber terbuka CCF Link yang ditetapkan Gi . Gambar rajah seni bina keseluruhannya ditunjukkan dalam Rajah 1. Peta pintar ringan terutamanya mempunyai ciri-ciri berikut:

Rajah 1. Gambar rajah rangka kerja peta pintar ringan

Alamat projek: https://gitlink.org.cn/THUMNLab/AutoGL-light

1 Penyahgandingan modul

Graf pintar yang lebih ringan direalisasikan melalui kaedah sokongan yang lebih komprehensif untuk saluran paip pembelajaran mesin automatik untuk graf yang berbeza, membolehkan modul ditambah secara bebas dalam mana-mana langkah proses pembelajaran mesin untuk memenuhi keperluan penyesuaian pengguna.

2. Keupayaan penyesuaian diri

Tangki pemikir ringan menyokong pengoptimuman hiperparameter graf (HPO) dan carian seni bina saraf graf (NAS). Dalam modul pengoptimuman hiperparameter graf, Graf Pintar Ringan menyediakan pelbagai algoritma pengoptimuman hiperparameter dan ruang carian, dan menyokong pengguna untuk mencipta ruang carian mereka sendiri dengan mewarisi kelas asas. Dalam modul carian seni bina saraf graf, graf pintar ringan melaksanakan algoritma carian biasa dan paling maju, dan pengguna boleh dengan mudah menggabungkan dan menyesuaikan reka bentuk modul ruang carian, strategi carian dan strategi penilaian mengikut keperluan mereka sendiri.

3. Pelbagai medan aplikasi

Aplikasi graf pintar ringan tidak terhad kepada tugas pembelajaran mesin graf tradisional, tetapi telah diperluaskan lagi kepada julat bidang aplikasi yang lebih luas. Pada masa ini, peta pintar ringan sudah menyokong aplikasi AI untuk Sains seperti peta molekul dan data omik sel tunggal. Pada masa hadapan, Lightweight Intelligent Graph berharap dapat menyediakan penyelesaian pembelajaran mesin automatik graf yang paling canggih untuk data graf dalam bidang yang berbeza.

4. Kem Musim Panas Pengaturcaraan GitLink

Mengambil peluang Peta Pintar Ringan, pasukan Peta Pintar telah mengambil bahagian secara mendalam dalam Kem Musim Panas Pemrograman GitLink (GLCC), yang dibangunkan oleh sumber terbuka CCF di bawah bimbingan Persatuan Komputer CCF China Acara pengaturcaraan musim panas untuk pelajar kolej di seluruh negara yang dianjurkan oleh CCF ODC. Dua projek pasukan Zhitu, "GraphNAS Algorithm Reproduction" dan "Application Cases in the Field of Graph Automatic Learning Science", menarik pelajar prasiswazah dan siswazah dari lebih sepuluh universiti tempatan untuk mendaftar.

Semasa kem musim panas, pasukan Zhitu secara aktif berkomunikasi dengan pelajar yang mengambil bahagian, dan kemajuan kerja melebihi jangkaan. Antaranya, projek replikasi algoritma GraphNAS berjaya melaksanakan carian seni bina umum yang dinyatakan di atas di luar pengedaran graf (ICML'22), carian seni bina graf berskala besar (ICML'22) dan Transformer graf automatik (ICLR'23) dalam ringan. graf pintar ), dengan berkesan mengesahkan fleksibiliti dan keupayaan penyesuaian bebas bagi badan pemikir ringan.

Projek aplikasi bidang saintifik pembelajaran mesin automatik melaksanakan algoritma pemprosesan maklumat biologi berasaskan graf pada graf pintar ringan, termasuk algoritma perwakilan scGNN untuk analisis penjujukan RNA sel tunggal dan algoritma perwakilan untuk pembelajaran perwakilan molekul Algoritma MolCLR dan algoritma perwakilan AutoGNNUQ untuk ramalan struktur molekul menggalakkan aplikasi teknologi pembelajaran mesin graf automatik dalam AI untuk Sains. Dalam Kem Musim Panas Pengaturcaraan GitLink, graf pintar ringan bukan sahaja memperkayakan algoritma dan kes aplikasi, tetapi juga membolehkan pelajar yang mengambil bahagian mempraktikkan pembangunan perisian sumber terbuka dan kemahiran lain, memupuk bakat dalam pembelajaran mesin automatik graf, dan menyumbang kepada pembangunan terbuka negara saya. sumber pembinaan ekologi.

Pasukan Zhitu berasal dari Makmal Rangkaian dan Media yang diketuai oleh Profesor Zhu Wenwu dari Jabatan Sains Komputer di Universiti Tsinghua Ahli teras termasuk penolong profesor Wang Xin, rakan pasca doktoral Zhang Ziwei, pelajar kedoktoran Li Haoyang, Qin Yijian. , Zhang Zeyang, pelajar sarjana Guan Chaoyu dan lebih daripada sepuluh orang yang lain. Projek ini telah mendapat sokongan padu daripada Yayasan Sains Semula Jadi Kebangsaan China dan Kementerian Sains dan Teknologi.

Atas ialah kandungan terperinci Pasukan Tsinghua Zhu Wenwu: AutoGL-light, perpustakaan pembelajaran mesin automatik ringan pertama di dunia untuk graf dalam sumber terbuka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!