Estetika topologi dalam pembelajaran mendalam: asas dan aplikasi GNN

Pengenalan: Dalam dunia nyata, banyak data sering muncul dalam bentuk graf, seperti rangkaian sosial, beli-belah e-dagang, hubungan interaksi protein , dsb. Dalam beberapa tahun kebelakangan ini, Pada tahun 2007, analisis data graf dan kaedah perlombongan berdasarkan rangkaian saraf telah mendapat perhatian meluas kerana prestasi cemerlang mereka bukan sahaja menjadi tumpuan penyelidikan dalam kalangan akademik tetapi juga bersinar dalam pelbagai aplikasi. Artikel ini terutamanya menggabungkan kesusasteraan yang berkaitan, perkongsian daripada pakar dalam bidang tersebut, dan pengalaman cetek pengarang untuk membuat ringkasan dan induksi kasar. Walaupun ia adalah pemindahan pengetahuan, ia juga bercampur dengan pertimbangan subjektif peribadi dan peninggalan tidak dapat dielakkan, jadi sila rujuk dengan berhati-hati. Ia bertepatan dengan Malam Krismas untuk membaiki dan berhenti menulis Saya juga mengambil kesempatan ini untuk mendoakan semua orang bahawa semua yang mereka inginkan pada tahun baru akan dipenuhi, dan mereka akan selamat dan bahagia. ​

1. Gambaran Keseluruhan Pembangunan Rangkaian Neural Graf

Graf (Graf) ialah struktur data yang menerangkan satu set nod dan perhubungan antara Objek dari sebarang saiz boleh diwakili dalam mana-mana ruang dalam mana-mana ruang Sebarang sambungan dalam apa jua bentuk boleh membentuk graf Dari perspektif ini, ia boleh terdiri daripada hubungan graviti antara planet di alam semesta, hubungan terjalin antara lalu lintas dan rangkaian jalan raya di bandar, dan hubungan lawatan bersama antara. orang dalam rangkaian sosial Dari sambungan tulang manusia kepada interaksi dalam rangkaian protein, hubungan ikatan antara atom dalam molekul kompaun, dan hubungan susun atur antara peranti dalam litar bersepadu nano, hampir semuanya boleh dilihat sebagai dihubungkan oleh beberapa hubungan, dan kemudian semuanya boleh Rawat ia sebagai gambar.

Dalam beberapa tahun kebelakangan ini, penyelidikan mengenai penggunaan pemodelan untuk menganalisis struktur graf telah menarik lebih banyak perhatian, antaranya rangkaian saraf graf berdasarkan kaedah pemodelan graf pembelajaran mendalam Rangkaian Neural Graf (GNN) telah menjadi salah satu kawasan tumpuan penyelidikan dalam kalangan akademik kerana prestasinya yang cemerlang. Contohnya, seperti yang ditunjukkan dalam rajah di bawah, bilangan kertas mengenai rangkaian saraf graf pada persidangan teratas yang berkaitan dengan pembelajaran mesin terus meningkat Menggunakan graf sebagai tajuk atau kata kunci telah menjadi salah satu perkataan paling popular dalam ICLR, persidangan teratas pada pembelajaran perwakilan dalam dua tahun yang lalu. Selain itu, rangkaian saraf graf telah muncul dalam anugerah kertas terbaik di banyak persidangan tahun ini Sebagai contoh, tempat pertama dan kedua untuk tesis kedoktoran terbaik KDD, persidangan perlombongan data teratas, telah dianugerahkan kepada dua sarjana muda yang berkaitan dengan graf. pembelajaran mesin. Kertas penyelidikan dan kertas aplikasi yang terbaik juga adalah mengenai pembelajaran sebab akibat pada hipergraf dan pembelajaran graf bersekutu. Sebaliknya, rangkaian saraf graf juga mempunyai banyak aplikasi praktikal dalam carian e-dagang, pengesyoran, pengiklanan dalam talian, kawalan risiko kewangan, ramalan trafik dan bidang-bidang lain Syarikat-syarikat utama juga bekerja keras untuk membina platform atau keupayaan berkaitan pembelajaran graf.

Walaupun rangkaian saraf graf hanya menjadi tempat liputan penyelidikan dalam lima masa lalu tahun, Walau bagaimanapun, definisi yang berkaitan telah dicadangkan oleh sarjana Itali Marco Gori dan Franco Scarselli pada tahun 2005. Gambar rajah biasa dalam kertas Scarselli ditunjukkan di bawah. Peringkat awal GNN terutamanya menggunakan RNN sebagai rangka kerja utama, memasukkan maklumat jiran nod untuk mengemas kini status nod, dan mentakrifkan fungsi pemindahan tempatan sebagai fungsi rekursif bulat Setiap nod menggunakan nod jiran sekeliling dan tepi bersambung sebagai maklumat sumber untuk mengemas kininya Ekspres sendiri.

​

Pelajar LeCun, Bruna et al, mencadangkan penggunaan CNN pada graf pada tahun 2014. Melalui penukaran pintar pengendali konvolusi, mereka mencadangkan dua rangkaian konvolusi graf berdasarkan domain frekuensi dan kaedah pengagregatan maklumat. Kaedah berasaskan spektrum memperkenalkan penapis dari perspektif pemprosesan isyarat graf untuk menentukan lilitan graf, di mana operasi lilitan graf ditafsirkan sebagai mengeluarkan bunyi daripada isyarat graf. Kaedah berasaskan ruang lebih sesuai dengan paradigma CNN dan mewakili lilitan graf sebagai mengagregatkan maklumat ciri dari kawasan kejiranan. Pada tahun-tahun berikutnya, walaupun beberapa model baharu dicadangkan secara sporadis, ia masih merupakan hala tuju penyelidikan yang agak khusus. Sehingga 2017, satu siri kerja penyelidikan yang diwakili oleh tiga musketeer model graf, GCN, GAT, dan GraphSage, telah dicadangkan, yang membuka halangan pengiraan antara data graf dan rangkaian saraf konvolusi, menjadikan rangkaian saraf graf secara beransur-ansur menjadi hotspot penyelidikan, dan meletakkan asas untuk Paradigma asas semasa model rangkaian saraf graf berdasarkan mekanisme penghantaran mesej (MPNN).

​

Sebuah seni bina MPNN tipikal terdiri daripada beberapa lapisan perambatan , setiap nod dikemas kini berdasarkan fungsi pengagregatan ciri jiran. Mengikut fungsi pengagregatan yang berbeza, MPNN boleh dibahagikan kepada: pengagregatan maklumat (gabungan linear ciri jiran, berat hanya bergantung pada struktur graf, seperti GCN), perhatian (gabungan linear, berat bergantung pada struktur graf dan ciri, seperti GAT) dan penghantaran mesej (fungsi tak linear umum, seperti GraphSAGE), ditunjukkan dari kiri ke kanan dalam rajah di bawah.

​

Dari perspektif penaakulan, ia juga boleh dibahagikan kepada Transduktif (seperti GCN) dan induktif (seperti GraphSage). Kaedah tolakan langsung akan mempelajari perwakilan unik untuk setiap nod, tetapi batasan model ini sangat jelas Dalam kebanyakan senario perniagaan dalam industri, struktur dan nod dalam graf tidak boleh diperbaiki pengguna akan terus muncul dalam koleksi pengguna, koleksi perhubungan perhatian pengguna juga akan terus berkembang, dan sejumlah besar artikel baharu akan ditambah pada platform kandungan setiap hari. Dalam senario sedemikian, pembelajaran tolakan langsung memerlukan latihan semula yang berterusan untuk mempelajari perwakilan untuk nod baharu. Kaedah induktif adalah untuk mempelajari "fungsi pengagregatan" ciri jiran nod, yang boleh digunakan pada senario yang lebih fleksibel, seperti perwakilan nod baharu atau perubahan dalam struktur graf, dsb., jadi ia akan digunakan untuk pelbagai graf dalam senario sebenar yang berubah secara dinamik.

Dalam proses pembangunan rangkaian saraf graf, untuk menyelesaikan masalah ketepatan dan kebolehskalaan pengiraan rangkaian graf, model baharu sentiasa dicadangkan dari generasi kepada generasi. Walaupun keupayaan rangkaian saraf graf untuk mewakili data graf tidak diragui, reka bentuk model baharu adalah berdasarkan intuisi empirikal, kaedah heuristik dan kaedah percubaan dan ralat percubaan. Kerja berkaitan 2019 kumpulan Jure Leskovec GIN (Graph Isomorphism Networks) mewujudkan hubungan antara GNN dan algoritma heuristik klasik Weisfeiler Lehman (WL) untuk pengesanan isomorfisme graf, dan secara teorinya membuktikan bahawa had atas keupayaan ekspresif GNN ialah 1-WL (Jure ialah kini seorang profesor bersekutu di Sekolah Sains Komputer di Stanford University Makmal SNAP yang diketuainya kini merupakan salah satu makmal yang paling terkenal dalam bidang rangkaian graf CS224W "Pembelajaran Mesin Grafik" yang diajarnya bahan). Walau bagaimanapun, algoritma WL mempunyai keupayaan ekspresif yang sangat terhad untuk banyak senario data, seperti dua contoh dalam rajah di bawah. Untuk graf Circular Skip Link (CSL) dalam (a), 1-WL akan menandakan setiap nod dalam dua graf dengan warna yang sama Dalam erti kata lain, ini jelas dua graf dengan struktur yang sama sekali berbeza Kami akan mendapat label yang sama. Contoh kedua ialah molekul Decalin yang ditunjukkan dalam (b 1-WL akan mencelupkan a dan b dengan warna yang sama, dan mencelupkan c dan d dengan warna yang sama, supaya dalam tugas ramalan pautan, (a, d ) dan (). b, d) tidak dapat dibezakan.

WL-ujian menunjukkan prestasi yang tidak memuaskan dalam banyak data dengan struktur segi tiga atau kitaran Walau bagaimanapun, dalam bidang seperti biokimia, struktur kitaran adalah sangat biasa dan sangat penting, dan ia juga menentukan sifat molekul sifat yang sepadan sangat mengehadkan kebolehgunaan rangkaian saraf graf dalam senario yang berkaitan. Micheal Bostein dan yang lain mencadangkan bahawa cara pemikiran "nod-dan edge-centered" semasa dalam kaedah pembelajaran mendalam graf mempunyai had yang besar Berdasarkan ini, mereka mencadangkan untuk memikirkan semula pembangunan pembelajaran graf dan kemungkinan pendekatan baru dari perspektif geometri. pembelajaran mendalam. Paradigma (Micheal kini merupakan Profesor Kecerdasan Buatan DeepMind di Universiti Oxford dan ketua saintis Kumpulan Penyelidikan Pembelajaran Grafik Twitter dan salah seorang penganjur pembelajaran mendalam geometri). Ramai sarjana juga telah memulakan penyelidikan mengenai satu siri alat baharu dari bidang geometri pembezaan, topologi algebra dan persamaan pembezaan, dan mencadangkan satu siri kerja seperti rangkaian neural graf setara, rangkaian neural graf topologi, rangkaian saraf subgraf, dsb. , dan telah menyelesaikan banyak masalah Mencapai hasil yang menarik. Digabungkan dengan konteks pembangunan rangkaian saraf graf, kita boleh membuat ringkasan mudah seperti yang ditunjukkan di bawah.

2. Model graf kompleks

Dalam bahagian sebelumnya kami memberikan gambaran keseluruhan proses pembangunan. daripada rangkaian saraf graf , rangkaian saraf graf sepadan yang disebutkan pada asasnya ditetapkan dalam senario graf tidak terarah dan homogen Walau bagaimanapun, graf dalam dunia sebenar selalunya kompleks. hipergraf, graf bertanda dan senario lain Kami akan memperkenalkan secara ringkas borang data graf ini dan model berkaitan masing-masing:

1. Graf heterogen merujuk kepada senario apabila nod dan tepi mempunyai berbilang kategori dan berbilang mod wujud. Contohnya, dalam senario e-dagang, nod boleh menjadi produk, kedai, pengguna, dsb., dan jenis tepi boleh menjadi klik, koleksi, urus niaga, dsb. Khususnya, dalam graf heterogen, setiap nod membawa maklumat jenis, dan setiap tepi juga membawa maklumat jenis Model GNN biasa tidak boleh memodelkan maklumat heterogen yang sepadan. Di satu pihak, dimensi Pembenaman jenis nod yang berbeza tidak boleh diselaraskan, sebaliknya, Pembenaman jenis nod yang berbeza terletak dalam ruang semantik yang berbeza. Kaedah pembelajaran yang paling banyak digunakan untuk graf heterogen ialah kaedah berasaskan laluan meta. Metapath menentukan jenis nod pada setiap lokasi dalam laluan. Semasa latihan, laluan meta dijadikan instantiated sebagai jujukan nod, dan kami menangkap persamaan dua nod yang mungkin tidak disambungkan secara langsung dengan memautkan nod pada kedua-dua hujung contoh laluan meta. Dengan cara ini, graf heterogen boleh dikurangkan kepada beberapa graf isomorfik, dan kita boleh menggunakan algoritma pembelajaran graf pada graf isomorfik ini. Di samping itu, beberapa karya telah mencadangkan kaedah berasaskan tepi untuk menangani graf heterogen, yang menggunakan fungsi pensampelan dan fungsi pengagregatan yang berbeza untuk nod dan tepi jiran yang berbeza. Kerja perwakilan termasuk HetGNN, HGT, dsb. Kadangkala kita juga perlu berurusan dengan graf perhubungan Bahagian tepi dalam graf ini mungkin mengandungi maklumat selain daripada kategori, atau bilangan kategori tepi adalah sangat besar, menjadikannya sukar untuk menggunakan kaedah berdasarkan laluan meta atau perhubungan meta. Rakan-rakan yang berminat dengan graf heterogen boleh mengikuti siri kerja guru Ishikawa dan Wang Xiao dari Universiti Peking.

​

2. Graf Dinamik: Graf Dinamik merujuk kepada data graf di mana nod dan struktur topologi berkembang dari semasa ke semasa, dan juga digunakan secara meluas dalam senario sebenar. Sebagai contoh, rangkaian petikan akademik akan terus berkembang dari semasa ke semasa, graf interaksi antara pengguna dan produk akan berubah mengikut minat pengguna, dan rangkaian pengangkutan serta aliran trafik akan terus berubah dari semasa ke semasa. Model GNN pada graf dinamik bertujuan untuk menjana perwakilan nod pada masa tertentu. Mengikut ketebalan butiran masa, graf dinamik boleh dibahagikan kepada graf dinamik masa diskret (juga dipanggil berdasarkan syot kilat) dan graf dinamik masa berterusan (berasaskan peristiwa dalam graf dinamik masa diskret, masa dibahagikan kepada berbilang masa kepingan ( Contohnya, dibahagikan kepada hari/jam), setiap kepingan masa sepadan dengan gambar statik. Model GNN bagi graf dinamik masa diskret biasanya menggunakan model GNN secara berasingan pada setiap kepingan masa, dan kemudian menggunakan RNN untuk mengagregatkan perwakilan nod pada masa yang berbeza termasuk DCRNN, STGCN, DGNN, EvolveGCN, dsb. Dalam graf dinamik masa berterusan, setiap tepi dilampirkan dengan cap masa, menunjukkan saat peristiwa interaksi berlaku. Berbanding dengan graf statik, fungsi mesej dalam graf dinamik masa berterusan juga bergantung pada cap masa sampel yang diberikan dan cap masa tepi. Selain itu, nod jiran mesti berkaitan dengan masa, contohnya, nod yang muncul selepas masa tertentu tidak boleh muncul di antara nod jiran. Dari perspektif model, proses titik sering digunakan untuk memodelkan graf dinamik berterusan Dengan mengoptimumkan fungsi keamatan bersyarat bagi jujukan kejiranan, kadar ketibaan jujukan dijana juga (seperti rangkaian masa kematian pautan tertentu). Kerja-kerja perwakilan pada pemodelan pada graf dinamik berterusan termasuk JODIE, HTNE, MMDNE dan Dyrep.

​

Sumber: Dyrep

3. Hipergraf: Hipergraf ialah graf dalam erti kata yang luas dan tepi boleh menyambungkan sebarang bilangan bucu. Pada hari-hari awal penyelidikan mengenai hipergraf, ia terutamanya berkaitan dengan aplikasi dalam senario penglihatan komputer Baru-baru ini, ia juga telah menarik perhatian dalam bidang rangkaian saraf graf Kawasan dan senario aplikasi utama adalah sistem cadangan nod dalam graf boleh melalui pelbagai jenis Tepi berbilang dikaitkan. Dengan menggunakan pelbagai jenis tepi, kita boleh menyusun graf ke dalam beberapa lapisan, setiap lapisan mewakili jenis perhubungan. Kerja perwakilan termasuk HGNN, AllSet, dsb.

Sumber: AllSet

4. Graf Berarah : Graf terarah bermakna hubungan sambungan antara nod adalah berarah, dan tepi terarah selalunya mengandungi lebih banyak maklumat daripada tepi tidak terarah. Contohnya, dalam graf pengetahuan, jika entiti kepala ialah kelas induk entiti ekor, arah tepi akan memberikan maklumat tentang hubungan tertib separa ini. Untuk senario graf terarah, selain hanya menggunakan matriks bersebelahan asimetrik dalam operasi lilitan, anda juga boleh memodelkan dua arah tepi secara berasingan untuk mendapatkan perwakilan yang lebih baik termasuk DGP dan sebagainya.

Sumber: DGP

5. Gambar rajah simbol: Graf yang ditandatangani merujuk kepada hubungan antara nod dalam graf termasuk hubungan hadapan dan belakang Contohnya, dalam rangkaian sosial, hubungan interaktif termasuk hubungan positif, seperti persahabatan, persetujuan dan sokongan hubungan negatif, seperti musuh, perselisihan faham, tentangan, dsb. Berbanding dengan graf biasa, graf simbolik mengandungi interaksi nod yang lebih kaya. Masalah utama yang perlu diselesaikan apabila memodelkan graf simbolik ialah cara memodelkan tepi negatif dan cara mengagregatkan maklumat kedua-dua jenis tepi SGCN adalah berdasarkan andaian teori imbangan (kawan kawan adalah kawan, dan kawan musuh adalah. musuh). Laluan keseimbangan yang sepadan ditakrifkan untuk melakukan pemodelan yang sepadan. Di samping itu, kerja perwakilan termasuk model pembenaman polarisasi POLE dengan rangkaian simbolik, model rangkaian saraf graf simbolik dwipartit SBGNN, dan rangkaian saraf graf simbolik GS-GNN berdasarkan teori kumpulan k.

Sumber: SGCN

6 Gambar tidak sepadan: Berbeza sedikit daripada takrifan jenis graf lain di atas, heterophily ialah penunjuk yang menerangkan ciri-ciri data graf Apa yang dipanggil graf heterophily merujuk kepada data yang mempunyai persamaan yang agak rendah antara jiran nod pada jenis graf. Rakan sejawatan kepada heterogami ialah homogami, yang bermaksud bahawa nod yang dipautkan biasanya tergolong dalam kategori yang sama atau mempunyai ciri-ciri yang serupa ("burung dari sekumpulan bulu"). Sebagai contoh, rakan seseorang mungkin mempunyai kepercayaan politik atau umur yang sama, dan kertas kerja mungkin cenderung untuk memetik kertas dalam bidang penyelidikan yang sama. Walau bagaimanapun, rangkaian dunia sebenar tidak sepenuhnya mematuhi andaian homoplasy tinggi Contohnya, dalam molekul protein, pelbagai jenis asid amino dikaitkan bersama. Mekanisme graf pengagregatan rangkaian saraf dan penyebaran ciri melalui hubungan pautan adalah berdasarkan andaian data homogen, yang menjadikan GNN sering mempunyai keputusan yang buruk pada data dengan heterogeniti yang tinggi. Pada masa ini, terdapat banyak kerja yang cuba menyamaratakan rangkaian saraf graf kepada senario graf heterogen, seperti Geom-GCN, model yang menggunakan maklumat struktur untuk memilih jiran untuk nod, H2GNN, yang meningkatkan keupayaan ekspresif rangkaian saraf graf dengan meningkatkan mekanisme penghantaran mesej, Dengan membina rangkaian penunjuk GPNN untuk pengagregatan maklumat berdasarkan penyusunan semula korelasi nod pusat (seperti yang ditunjukkan dalam rajah di bawah, warna yang berbeza mewakili jenis nod yang berbeza), FAGCN dengan menggabungkan isyarat frekuensi tinggi dan pemprosesan isyarat frekuensi rendah secara serentak , dsb.

Sumber: GPNN

3 >

Oleh kerana rangkaian saraf graf boleh mempelajari dengan lebih baik ciri-ciri data berstruktur graf, ia telah digunakan secara meluas dan diterokai dalam banyak bidang berkaitan graf. Dalam bahagian ini, kami mengklasifikasikan dan meringkaskan dengan sewajarnya dari perspektif tugas dan aplikasi hiliran.

1. Tugas hiliran

​

​

Klasifikasi nod: Mengikut atribut nod (boleh kategori atau berangka), Maklumat tepi, tepi atribut (jika ada), label ramalan nod yang diketahui dan ramalan kategori untuk nod dengan label yang tidak diketahui. Sebagai contoh, set data produk ogbn OGB ialah rangkaian pembelian produk tidak terarah Nod mewakili produk yang dijual dalam e-dagang . Tugas yang sepadan adalah untuk meramalkan maklumat kategori produk yang hilang.

Ramalan pautan: Ramalan pautan dalam rangkaian merujuk kepada cara menggunakan nod rangkaian dan struktur rangkaian yang diketahui, dsb. Maklumat meramalkan kemungkinan hubungan antara dua nod dalam rangkaian yang masih belum disambungkan. Ramalan ini termasuk kedua-dua ramalan pautan yang tidak diketahui dan ramalan pautan masa hadapan. Ramalan pautan digunakan secara meluas dalam sistem pengesyoran, eksperimen biokimia dan senario lain Contohnya, dalam pengesyoran produk, dalam graf bipartit pengguna dan produk, jika pengguna membeli produk, terdapat pautan antara pengguna dan produk, dan. pengguna yang serupa mungkin mempunyai yang sama Akan terdapat permintaan untuk produk Oleh itu, meramalkan sama ada pautan seperti "pembelian" dan "klik" mungkin berlaku antara pengguna dan produk, untuk mengesyorkan produk kepada pengguna dengan cara yang disasarkan. , boleh meningkatkan kadar pembelian produk. Selain itu, pelengkapan graf pengetahuan dalam pemprosesan bahasa semula jadi dan ramalan trafik dalam pengangkutan pintar boleh dimodelkan sebagai masalah ramalan pautan.

Klasifikasi graf: Klasifikasi graf sebenarnya serupa dengan pengelasan nod Intipatinya adalah untuk meramalkan label graf. Berdasarkan ciri graf (seperti ketumpatan graf, maklumat topologi graf, dsb.) dan label graf yang diketahui, membuat ramalan kategori untuk graf dengan label yang tidak diketahui boleh didapati dalam bioinformatik dan informatik kimia, seperti saraf graf latihan rangkaian untuk meramalkan struktur protein.

Penjanaan graf: ​Matlamat penjanaan graf adalah untuk menjana graf baharu yang diberi set graf yang diperhatikan, cth. Dalam maklumat biologi, ia adalah berdasarkan penjanaan struktur molekul baharu atau dalam pemprosesan bahasa semula jadi, ia berdasarkan ayat yang diberikan untuk menjana graf semantik atau graf pengetahuan.

2. Bidang permohonan​

Kami akan membincangkan Senario aplikasi yang berbeza diperkenalkan dengan sewajarnya.

Sistem pengesyoran: Pembangunan Internet mudah alih telah menggalakkan perkembangan pesat pencarian maklumat . Sistem pengesyoran, sebagai hala tuju yang paling penting, telah mendapat perhatian yang meluas. Tujuan utama sistem pengesyoran adalah untuk mempelajari representasi pengguna dan item yang berkesan daripada interaksi sejarah dan maklumat sampingan, untuk mengesyorkan item (barangan, muzik) yang lebih disukai oleh pengguna , video, filem, dll.). Oleh itu, adalah wajar untuk mempertimbangkan untuk membina graf dwipartit dengan item dan pengguna sebagai nod, supaya rangkaian saraf graf boleh digunakan pada sistem pengesyoran untuk meningkatkan kesan pengesyoran. Berdasarkan GraphSAGE, Pinterest mencadangkan PinSage, sistem pengesyoran peringkat industri pertama berdasarkan GCN, yang menyokong senario pengesyoran imej berskala besar dengan 3 bilion nod dan 18 bilion tepi Malah, selepas pergi ke dalam talian, paparan produk Pinterest dan Lihatlah meningkat sebanyak 25% , Selain itu, Alibaba, Amazon dan banyak platform e-dagang lain menggunakan GNN untuk membina algoritma pengesyoran yang sepadan.

Selain graf dwipartit yang terdiri daripada interaksi item pengguna, hubungan sosial dan graf pengetahuan dalam sistem pengesyoran. graf pemindahan item dalam urutan wujud dalam bentuk data graf Sebaliknya, data heterogen juga wujud secara meluas dalam senario e-dagang dalam sistem pengesyoran jenis tepi boleh Klik, kumpul, berurusan, dsb. Dengan menggunakan perhubungan dan maklumat kandungan antara projek, pengguna dan pengguna, pengguna dan projek, dan berdasarkan model graf heterogen dan pelbagai mod berbilang sumber, kesan pengesyoran berkualiti tinggi juga sedang diterokai secara berterusan. Selain itu, pengesyoran bersiri berdasarkan perubahan dalam tingkah laku pengguna dari semasa ke semasa dalam perniagaan sebenar dan pembelajaran tambahan yang disebabkan oleh penambahan pengguna dan produk baharu juga telah membawa cabaran dan peluang baharu kepada pembangunan model GNN.

Pemprosesan bahasa semula jadi: Banyak masalah dan senario dalam pemprosesan bahasa semula jadi diterangkan Kerana hubungan perkaitan, ia boleh dimodelkan secara semula jadi sebagai struktur data graf. Senario aplikasi langsung yang pertama ialah pelengkapan dan penaakulan graf pengetahuan (KG) Sebagai contoh, penyelidik di Mila mencadangkan untuk memodelkan masalah penaakulan single-hop ke dalam masalah pembelajaran perwakilan laluan berdasarkan NBFNet, dengan itu merealisasikan graf pengetahuan . Rangkaian saraf graf menggunakan rangkaian saraf dalam untuk menyepadukan maklumat struktur topologi dan maklumat ciri atribut dalam data graf, dengan itu memberikan perwakilan ciri yang lebih halus bagi nod atau substruktur, dan boleh berkomunikasi dengan mudah dengan hiliran dalam cara yang dipisahkan atau hujung ke hujung memenuhi keperluan graf pengetahuan dalam senario aplikasi yang berbeza untuk mempelajari ciri atribut dan ciri struktur entiti dan perhubungan.

Selain itu, rangkaian saraf graf digunakan dalam banyak masalah dalam pemprosesan bahasa semula jadi, seperti klasifikasi teks, analisis semantik, terjemahan mesin, pelengkapan graf pengetahuan, pengecaman entiti yang dinamakan dan klasifikasi mesin , kami mengesyorkan anda merujuk kepada tutorial dan ulasan berkaitan Graph4NLP Dr. Wu Lingfei untuk mendapatkan lebih banyak kandungan.

Sumber: (https://github.com/graph4ai/graph4nlp)

Penglihatan Komputer: Penglihatan komputer ialah salah satu senario aplikasi terbesar dalam bidang pembelajaran mesin dan pembelajaran mendalam Berbanding dengan sistem pengesyoran dan pemprosesan bahasa semula jadi, graf neural Internet bukan arus perdana dalam penglihatan komputer. Sebabnya ialah kelebihan GNN ialah pemodelan dan pembelajaran perhubungan, dan kebanyakan format data dalam penglihatan komputer adalah data imej biasa. Apabila menggunakan GNN dalam senario CV, kuncinya terletak pada cara graf dibina: apakah ciri bucu dan bucu? Bagaimana untuk menentukan hubungan sambungan bucu? Kerja awal digunakan terutamanya untuk beberapa adegan yang intuitif dan mudah untuk mengabstraksikan struktur graf. Sebagai contoh, dalam kaedah pengecaman tindakan ST-GCN yang digunakan untuk rangka dinamik, rangka semula jadi tubuh manusia secara semula jadi boleh dianggap sebagai struktur graf untuk membina graf spatial. Dalam penjanaan graf adegan, hubungan semantik antara objek membantu memahami makna semantik di sebalik pemandangan visual. Memandangkan imej, model penjanaan graf pemandangan mengesan dan mengenal pasti objek dan meramalkan hubungan semantik antara pasangan objek. Dalam pengelasan dan pembahagian awan titik, awan titik ditukar kepada graf jiran terhampir k atau graf tindanan untuk menggunakan rangkaian graf untuk mempelajari tugas berkaitan. Baru-baru ini, arah aplikasi rangkaian saraf graf dalam penglihatan komputer juga semakin meningkat. Sesetengah penyelidik telah membuat penerokaan dan percubaan yang berkaitan dalam tugas penglihatan komputer umum seperti pengesanan objek. Sebagai contoh, Huawei mencadangkan seni bina visual am baharu berdasarkan perwakilan graf Dalam ViG, penyelidik membahagikan imej input kepada banyak blok kecil dan membina graf nod yang sepadan menunjukkan bahawa berbanding dengan matriks atau grid, struktur graf boleh mewakili komponen objek dengan lebih banyak hubungan yang fleksibel antara mereka untuk mencapai hasil yang lebih ideal.

​

Sumber: Vision GNN@NeurIPS 2022

Pengangkutan pintar: Pengurusan pengangkutan pintar merupakan isu hangat di bandar moden. Ramalan yang tepat tentang kelajuan lalu lintas, isipadu lalu lintas atau kepadatan jalan dalam rangkaian pengangkutan adalah penting dalam perancangan laluan dan kawalan aliran. Disebabkan sifat aliran trafik yang tidak linear dan kompleks, kaedah pembelajaran mesin tradisional sukar untuk mempelajari kebergantungan spatial dan temporal secara serentak. Perkembangan pesat platform perjalanan dalam talian dan perkhidmatan logistik telah menyediakan senario data yang kaya untuk pengangkutan pintar Cara menggunakan rangkaian saraf untuk mempelajari korelasi spatiotemporal secara automatik dalam data trafik untuk mencapai analisis dan pengurusan aliran trafik yang lebih baik telah menjadi tempat tumpuan penyelidikan. Memandangkan trafik bandar (seperti yang ditunjukkan dalam rajah di bawah) wujud secara semula jadi dalam bentuk grid tidak teratur, ia adalah penerokaan yang sangat semula jadi untuk menggunakan rangkaian saraf graf untuk pengurusan trafik pintar.

​

Sumber: Traffic4Cast@NeurIPS 2022

Contohnya, rangkaian spatio-temporal klasik STGCN menggunakan GCN untuk menangkap ciri spatial bagi setiap peta aliran trafik pada setiap saat dan menangkap ciri temporal setiap nod melalui lilitan dalam dimensi masa ini dua Operasi adalah bercampur silang dan selari untuk mencapai pembelajaran hujung ke hujung ciri dalam kedua-dua dimensi spatio-temporal. Terdapat juga kerja sepadan yang menggunakan maklumat berbilang sumber untuk membina graf perkaitan nod daripada perspektif yang berbeza untuk mengagregatkan maklumat untuk mencapai kesan ramalan yang lebih tepat. Selain ramalan trafik, rangkaian neural graf juga digunakan dalam banyak aspek seperti pengurusan lampu isyarat, pengesanan peristiwa lalu lintas, ramalan trajektori kenderaan dan ramalan kesesakan jalan raya. Dalam tahun-tahun kebelakangan ini, pertandingan yang berkaitan di persidangan teratas seperti KDD dan NeurIPS juga telah menyediakan soalan ramalan trafik yang sepadan, dan penyelesaian pemenang pada asasnya termasuk rangkaian saraf graf. Oleh kerana kewujudan dinamik spatio-temporal secara serentak, tidak keterlaluan untuk mengatakan bahawa permintaan aplikasi yang relevan dalam bidang pengangkutan pintar adalah pemacu paling penting dalam pembangunan rangkaian neural graf spatio-temporal.

Kawalan risiko kewangan: Dengan perkembangan ekonomi pasaran dan proses pendigitalan industri, sebilangan besar Walaupun perniagaan tradisional berhijrah dalam talian, pelbagai produk dan perkhidmatan dalam talian baharu juga meningkat dari hari ke hari Data besar-besaran dan perhubungan yang kompleks membawa cabaran besar kepada transaksi kewangan dan audit yang berkaitan. Pengurusan kredit bank dan pengurusan risiko syarikat tersenarai memainkan peranan penting dalam mengekalkan susunan pasaran kewangan. Dengan promosi sistem pengurusan pembayaran global yang baru muncul seperti Alipay dan Paypal, sistem kawalan risiko pembayaran yang melindungi mereka memainkan peranan penting dalam melindungi keselamatan dana pengguna, mencegah kecurian kad dan kecurian akaun, dan mengurangkan kerugian platform. Walau bagaimanapun, algoritma tradisional tidak mencukupi untuk menyelesaikan analisis data rangkaian graf dengan maklumat yang berkaitan Terima kasih kepada keupayaan rangkaian saraf graf untuk memproses data graf, satu siri amalan dalam pelbagai senario kawalan risiko kewangan telah muncul. Contohnya, penilaian risiko sebelum dan selepas pemberian pinjaman semasa proses transaksi, pengesanan akaun maya/penipuan/penipuan, dsb. Walaupun penerapan teknologi pembelajaran mendalam graf telah terbukti berkesan dan perlu dalam bidang kawalan risiko, masa pembangunan adalah singkat dan keseluruhan proses masih di peringkat awal pembangunan Oleh kerana privasi data industri, yang utama inovasi teknologi masih berdasarkan syarikat yang sepadan Antaranya, Ant Financial dan Amazon adalah yang paling menonjol. Sebagai contoh, algoritma GeniePath yang dicadangkan oleh Ant Financial ditakrifkan sebagai masalah klasifikasi binari untuk akaun Algoritma GEM pertama yang dicadangkan oleh Ant Financial untuk menggunakan lilitan graf untuk mengenal pasti akaun berniat jahat digunakan terutamanya dalam senario log masuk/pendaftaran akaun. Privasi data dan kepelbagaian senario juga mengakibatkan kekurangan piawaian bersatu dalam industri untuk perbandingan dan pengesahan model. Baru-baru ini, Teknologi Xinye dan Universiti Zhejiang bersama-sama mengeluarkan set data graf dinamik berskala besar DGraph, yang menyediakan data berskala besar bagi adegan sebenar untuk pengesahan penipuan dan senario pengesanan anomali lain Nod mewakili pengguna pinjaman kewangan yang disediakan oleh Xinye Teknologi, dan diarahkan ke The edge mewakili hubungan hubungan kecemasan, dan setiap nod mengandungi ciri atribut yang tidak sensitif dan label yang menunjukkan sama ada pengguna ialah pengguna penipuan kewangan. Walaupun terdapat masalah seperti halangan data, ketidakseimbangan data yang lazim dalam senario kawalan risiko kewangan, kesukaran mendapatkan label, dan permintaan untuk kebolehtafsiran model juga telah membawa pemikiran dan peluang baharu kepada pembangunan rangkaian saraf graf.

Penemuan dadah: Pembangunan dadah ialah usaha Kejuruteraan jangka panjang, mahal dan berisiko, daripada reka bentuk ubat awal dan saringan molekul hingga ujian keselamatan dan ujian klinikal kemudian, kitaran penyelidikan dan pembangunan ubat baharu mengambil masa kira-kira 10-15 tahun Kos penyelidikan dan pembangunan purata bagi setiap ubat adalah hampir 3 bilion dolar AS /3 daripada masa dan kos dibelanjakan dalam peringkat penemuan dadah. Terutamanya dalam menghadapi wabak wabak seperti COVID-19, cara menggunakan model pembelajaran mendalam secara berkesan untuk menemui molekul calon yang mungkin dan pelbagai dengan cepat serta mempercepatkan proses pembangunan ubat baharu telah membangkitkan pemikiran dan penyertaan ramai penyelidik.

Sebatian molekul, protein dan bahan lain yang terlibat dalam penyelidikan dan pembangunan ubat secara semula jadi wujud dalam struktur graf. Mengambil molekul sebagai contoh, tepi graf boleh menjadi ikatan antara atom dalam molekul atau interaksi antara residu asid amino dalam protein. Dan pada skala yang lebih besar, graf boleh mewakili interaksi antara struktur yang lebih kompleks seperti protein, mRNA atau metabolit. Dalam rangkaian sel, nod boleh mewakili sel, tumor, dan limfosit, dan tepi mewakili kedekatan ruang antara mereka. Oleh itu, rangkaian saraf graf mempunyai prospek aplikasi yang luas dalam ramalan sifat molekul, penyaringan throughput tinggi, reka bentuk ubat baharu, kejuruteraan protein dan penggunaan semula ubat. Sebagai contoh, penyelidik dari MIT CSIAL dan rakan usaha sama mereka menerbitkan kerja dalam Cell (2020) menggunakan rangkaian saraf graf untuk meramalkan sama ada molekul mempunyai sifat antibiotik. Tahun ini, ahli kumpulan yang sama mencadangkan satu siri kerja seperti membina model penjanaan bersyarat berasaskan antigen berdasarkan kaedah penjanaan graf untuk mereka bentuk antibodi yang sangat sepadan dengan antigen tertentu. Mila Labs juga merupakan perintis dalam menerapkan pembelajaran graf pada penemuan dadah, dan baru-baru ini telah membuka sumber terbuka platform pembelajaran mesin penemuan dadah berasaskan PyTorch TorchDrug berdasarkan penerokaan yang sepadan. Selain itu, syarikat teknologi utama juga telah membuat rancangan dan penerokaan dalam farmaseutikal AI dalam beberapa tahun kebelakangan ini, dan telah mencapai keputusan cemerlang yang sepadan dengan platform "Yunshen" Tencent AI Lab mengeluarkan rangka kerja penyelidikan luar pengedaran berskala besar pertama dalam industri untuk AI ubat. , DrugOOD, untuk mempromosikan Penyelidikan mengenai masalah peralihan pengedaran dalam senario farmaseutikal untuk membantu pembangunan industri penyelidikan dan pembangunan ubat. Bioteknologi Baidu, yang diasaskan oleh pengasas Baidu Robin Li, komited untuk menggabungkan teknologi AI termaju dengan bioteknologi termaju untuk mencipta penemuan sasaran yang unik dan reka bentuk dadah.

​

Reka bentuk cip: Cip Ia adalah jiwa era digital dan salah satu daripada tiga elemen industri maklumat. Data berstruktur graf berjalan melalui beberapa peringkat reka bentuk cip Contohnya, dalam peringkat Sintesis Logik, litar digital diwakili oleh graf NAND Dalam peringkat Reka Bentuk Fizikal, korelasi dijana berdasarkan senarai jaringan litar yang dihasilkan oleh sintesis logik lengkapkan susun atur dan penghalaan cip mengikut keperluan had ketumpatan dan kesesakan tertentu.

​

Apabila litar terus berkembang dari segi saiz dan kerumitan , Kecekapan dan ketepatan reka bentuk alat automasi reka bentuk elektronik (EDA) telah menjadi isu penting, yang menarik para penyelidik untuk menggunakan teknologi pembelajaran mendalam untuk membantu proses reka bentuk litar. Jika kualiti dan kebolehgunaan litar boleh diramalkan pada peringkat awal reka bentuk cip, kecekapan lelaran cip boleh dipertingkatkan dan kos reka bentuk dapat dikurangkan. Sebagai contoh, meramalkan kesesakan litar dalam peringkat reka bentuk fizikal boleh membantu mengesan kecacatannya dan mengelak daripada menghasilkan cip yang rosak Jika ramalan tersebut boleh dibuat dalam peringkat sintesis logik, reka bentuk dan kitaran pengeluaran cip boleh disimpan lagi. Pasukan Google dan Stanford University berjaya menggunakan GNN dalam reka bentuk perkakasan, digabungkan dengan pembelajaran pengukuhan, seperti mengoptimumkan penggunaan kuasa, kawasan dan prestasi blok cip TPU Google. Memandangkan pelbagai maklumat heterogen dalam perwakilan senarai bersih cip, Litar GNN yang dicadangkan oleh Huawei dan Universiti Peking boleh menyusun peta dengan menyepadukan maklumat topologi dan geometri untuk meningkatkan prestasi pelbagai tugas EDA untuk ramalan atribut sel dan bersih.

Selain beberapa bidang, rangkaian saraf graf juga telah diterokai dan digunakan Untuk banyak masalah lain, seperti pengesahan program, ramalan kesan sosial, rangkaian otak, pengesanan peristiwa, simulasi model dan penyelesaian masalah pengoptimuman gabungan. Dapat dilihat bahawa dalam banyak bidang sains dan kehidupan, data boleh diwakili sebagai struktur graf. Dengan menangkap maklumat struktur dan maklumat atribut graf secara berkesan, rangkaian saraf graf telah mencapai ketepatan yang tinggi dalam pelbagai tugasan graf dan menjadi cara yang berkesan untuk menyelesaikan masalah berkaitan graf Kami percaya bahawa ia boleh dilihat dalam banyak bidang dan senario pada masa hadapan rangkaian saraf graf.

4. Kebolehskalaan rangkaian saraf graf

Dalam kandungan sebelumnya, kami memperkenalkan beberapa paradigma asas model graf dan senario aplikasi yang sepadan Kami dapat melihat bahawa rangkaian saraf graf berfungsi sebagai seni bina Pembelajaran mendalam yang baharu bidang yang berbeza seperti rangkaian sosial, sistem pengesyoran, dan penemuan bioperubatan. Walau bagaimanapun, dalam aplikasi sebenar, kebolehskalaan dan kebolehgunaan model grafik masih menghadapi banyak cabaran teori dan kejuruteraan. Yang pertama ialah had ingatan. Pada permulaan reka bentuk, operasi lilitan GCN telah dilakukan pada keseluruhan graf, iaitu, operasi lilitan setiap lapisan akan merentasi keseluruhan graf Dalam aplikasi praktikal, memori dan overhed masa yang diperlukan adalah tidak boleh diterima. Selain itu, dalam rangka kerja pembelajaran mesin tradisional, fungsi kehilangan model boleh diuraikan kepada jumlah kehilangan sampel individu, jadi kumpulan mini dan pengoptimuman stokastik boleh digunakan untuk memproses set latihan yang jauh lebih besar daripada memori GPU. Walau bagaimanapun, dalam latihan GNN, tidak seperti set data standard untuk pembelajaran mesin di mana sampel adalah bebas, struktur hubungan data rangkaian akan menghasilkan kebergantungan statistik antara sampel. Menjalankan latihan Mini-Batch secara langsung melalui persampelan rawak selalunya akan membawa kepada kesan model yang sangat berkurangan. Walau bagaimanapun, bukan perkara mudah untuk memastikan bahawa subgraf mengekalkan semantik graf lengkap dan menyediakan kecerunan yang boleh dipercayai untuk latihan GNN. Yang kedua ialah had perkakasan. Berbanding dengan data imej dan data teks, graf pada asasnya adalah struktur yang jarang, jadi kesederhanaan mereka perlu dieksploitasi untuk pengiraan yang cekap dan berskala Walau bagaimanapun, reka bentuk semasa pemproses pembelajaran mendalam dan perkakasan yang berkaitan bertujuan untuk memproses matriks. Dalam bahagian ini, kami terutamanya meringkaskan kebolehskalaan model graf. Merujuk kepada ringkasan Chaitanya K. Joshi, pelajar kedoktoran di University of Cambridge, kerja yang berkaitan boleh diringkaskan kepada empat aspek: prapemprosesan data, seni bina model yang cekap, paradigma pembelajaran baharu dan pecutan perkakasan (seperti yang ditunjukkan dalam rajah di bawah) .

Prapemprosesan data secara amnya melaksanakan pengiraan data graf berskala besar dengan mensampel atau memudahkan data asal (kami akan pergi lebih jauh di bawah) mengembangkan) . Seni bina baharu mencadangkan beberapa seni bina baharu, lebih cekap dan ringkas dari perspektif beberapa tugas atau data tertentu. Contohnya, LightGCN menghilangkan bahagian produk dalam antara nod bersebelahan untuk mempercepatkan kelajuan larian. Beberapa kerja juga mendapati bahawa menggunakan kaedah penyebaran label selepas menjalankan MLP pada ciri nod juga boleh mencapai hasil yang baik. Selain itu, kami juga boleh meningkatkan prestasi GNN dan mengurangkan kependaman melalui beberapa paradigma pembelajaran ringan seperti penyulingan pengetahuan atau latihan sedar pengkuantitian. Perkara yang perlu disebutkan ialah kaedah yang disebutkan di atas untuk mempercepatkan latihan rangkaian saraf graf semuanya dipisahkan antara satu sama lain, yang bermaksud bahawa dalam senario sebenar, pelbagai kaedah boleh digunakan secara serentak.

Sumber: G-CRD@TNNLS

Berbanding dengan pengoptimuman model dan paradigma pembelajaran baharu, prapemprosesan data adalah kaedah yang lebih umum dan lebih terpakai pada masa ini. Kami akan menganalisis dan memperkenalkannya di sini. Secara umumnya, kaedah prapemprosesan data menggunakan beberapa persampelan atau penyederhanaan graf untuk mengurangkan saiz imej asal supaya memenuhi kekangan memori.

1. Pemprosesan data berasaskan persampelan​

Kaedah berasaskan persampelan boleh dibahagikan kepada tiga subkategori, Nod -Persampelan Bijak, Persampelan Bijak Lapisan dan Persampelan Bijak Graf.

​

Persampelan Nod-Bijak: pertama kali dicadangkan oleh GraphSage dan merupakan kaedah yang agak biasa, berkesan dan paling banyak digunakan. Satu lapisan GraphSAGE mengagregatkan maklumat daripada jiran 1-hop. Mentindih lapisan k GraphSAGE boleh meningkatkan medan penerimaan kepada subgraf yang disebabkan oleh jiran k-hop Pada masa yang sama, jiran-jiran diambil secara sama rata, yang boleh mengawal kelajuan operasi agregasi dan mengurangkan bilangan jiran Bermakna kurang pengiraan. Walau bagaimanapun, perlu diingatkan bahawa apabila bilangan lapisan meningkat, bilangan jiran sampel juga akan meningkat secara eksponen Pada akhirnya, ia masih bersamaan dengan pengagregatan mesej pada subgraf yang disebabkan oleh jiran k-hop, dan kerumitan masa adalah. tidak ketara.

​

Persampelan Lay-Bijak: Pertama kali dicadangkan oleh Fast GCN Berbeza daripada GraphSAGE, ia mengehadkan julat pensampelan jiran secara langsung melalui pensampelan kepentingan, ia mengambil sampel setiap nod sampel GraphSAGE dalam kumpulan kecil daripada semua nod daripada Fast GCN berkongsi set jiran yang sama, jadi kerumitan pengiraan boleh dikawal terus ke tahap linear Walau bagaimanapun, perlu diambil perhatian bahawa apabila graf yang kami proses adalah besar dan jarang, Sampel ini daripada lapisan bersebelahan yang disampel oleh kaedah ini mungkin. tidak berkaitan langsung, mengakibatkan kegagalan untuk belajar.

Persampelan Mengikut Graf: Berbeza dengan kaedah pensampelan jiran, teknik pensampelan graf ialah daripada Pensampelan subgraf pada imej asal, contohnya, Kluster GCN menggunakan idea pengelompokan untuk membahagikan graf kepada blok kecil untuk latihan untuk mencapai pensampelan graf. Algoritma pengelompokan graf (seperti METIS) mengumpulkan nod yang serupa bersama-sama, menyebabkan taburan nod dalam kelas menyimpang daripada taburan nod dalam graf asal. Untuk menyelesaikan masalah yang disebabkan oleh pensampelan graf, Kluster GCN secara serentak mengekstrak berbilang kategori sebagai satu kelompok untuk mengambil bahagian dalam latihan bagi mengimbangi pengedaran nod. Walau bagaimanapun, kehilangan maklumat kaedah persampelan berasaskan struktur adalah agak besar, dan kebanyakan keputusan data adalah lebih besar daripada GNN kumpulan penuh Setiap zaman perlu diambil sampel, dan overhed masa tidak kecil.

2. Pemudahan berasaskan graf ​

Selain pensampelan , melalui beberapa pengurangan Graf juga merupakan arah yang boleh dilaksanakan untuk mengurangkan saiz graf asal sambil mengekalkan atribut utama untuk pemprosesan dan analisis seterusnya. Penyederhanaan graf terutamanya merangkumi penyempitan graf: mengurangkan bilangan tepi dalam graf dan kasar graf: mengurangkan bilangan bucu dalam graf.

Antaranya, pengasar graf mengagregatkan beberapa subgraf menjadi supernod adalah rangka kerja yang sesuai untuk mencapai penyederhanaan yang asal. skala imej. Algoritma untuk menggunakan kasar graf untuk latihan dipercepatkan GNN mula-mula dicadangkan dalam kerja KDD 2021 Prosesnya ditunjukkan dalam rajah di bawah:

Mula-mula gunakan algoritma pengkasaran graf (seperti pengkasaran pengelompokan spektrum) untuk mengasar graf asal, dan lakukan latihan model pada graf kasar G′, dengan itu mengurangkan parameter yang diperlukan untuk latihan rangkaian saraf graf dan mengurangkan masa latihan dan menjalankan memori di atas kepala. Kaedah ini secara universal mudah dan mempunyai masa dan ruang latihan linear. Analisis teori pengarang juga menunjukkan bahawa latihan APPNP pada graf yang dikasarkan oleh pengelompokan spektrum adalah bersamaan dengan latihan APPNP terhad pada graf asal. Walau bagaimanapun, seperti kaedah pensampelan graf, kaedah berdasarkan kekasaran graf juga memerlukan prapemprosesan data, dan overhed masa adalah berkaitan dengan keputusan eksperimen dan pilihan algoritma kekasaran.

Begitu juga, beberapa kaedah persampelan atau pelanjutan model graf dipermudah yang diperkenalkan di atas juga merupakan kaedah yang dipisahkan antara satu sama lain, yang bermaksud berbilang kaedah boleh digunakan pada masa yang sama, seperti Kluster GCN +GraphSAGE . Pada dasarnya, mengagregatkan mesej pada subgraf yang disebabkan oleh jiran k-hop adalah operasi eksponen Adalah sukar untuk mengawal kerumitan masa algoritma berdasarkan persampelan nod pada tahap linear tanpa kehilangan maklumat semasa pra-memproses Penurunan imej asal adalah penyelesaian yang baik, kerana jika keseluruhan imej boleh dimasukkan ke dalam ingatan untuk pengiraan, kerumitan masa GCN akan menjadi linear, tetapi kos prapemprosesan tidak boleh diabaikan. Tiada makan tengah hari percuma di dunia Pecutan latihan rangkaian saraf graf masih memerlukan pertukaran antara kehilangan maklumat dan overhed pra-pemprosesan Kaedah yang berbeza perlu digunakan untuk analisis berdasarkan situasi sebenar.

Selain itu, graf pada asasnya adalah objek yang jarang, jadi isu kecekapan reka bentuk dan kebolehskalaan harus dipertimbangkan lebih daripada perspektif kesederhanaan data. Tetapi ini lebih mudah dikatakan daripada dilakukan, kerana GPU moden direka untuk mengendalikan operasi intensif pada matriks. Walaupun pemecut perkakasan tersuai untuk matriks jarang boleh meningkatkan dengan ketara ketepatan masa dan kebolehskalaan GNN, kerja berkaitan masih dalam peringkat awal pembangunan. Selain itu, reka bentuk strategi komunikasi untuk pengkomputeran graf juga merupakan satu hala tuju yang telah menarik perhatian ramai kebelakangan ini. Contohnya, kertas penyelidikan Terbaik dan anugerah kertas pelajar Terbaik VLDB2022 dan Webconf 2022 telah diberikan kepada sistem atau algoritma yang mempercepatkan pemprosesan model graf. Antaranya, SANCUS@VLDB2022 mencadangkan satu set rangka kerja latihan teragih (SANCUS), dengan matlamat untuk mengurangkan volum komunikasi, dan menggunakan mekanisme terdesentralisasi untuk mempercepatkan latihan teragih rangkaian saraf graf. Artikel itu bukan sahaja secara teorinya membuktikan bahawa kelajuan penumpuan SANCUS hampir dengan latihan graf penuh, tetapi juga mengesahkan kecekapan latihan dan ketepatan SANCUS melalui eksperimen pada sejumlah besar graf adegan sebenar. Kerja PASCA@Webconf2022 cuba memisahkan operasi pengagregatan mesej dan operasi kemas kini dalam rangka kerja penghantaran mesej, dan mentakrifkan paradigma baharu pra-pemprosesan-latihan-pasca-pemprosesan untuk mencapai overhed komunikasi dalam senario yang diedarkan.

​

Sumber: PASCA@Webconf2022

5. Reka bentuk rangkaian neural graf dan ruang pembelajaran

Berkat pertumbuhan pesat sumber pengkomputeran dan keupayaan perwakilan yang kuat bagi rangkaian saraf dalam, pembelajaran mendalam telah menjadi pengetahuan Alat penting untuk menggali. Graf ialah struktur data serba boleh dan berkuasa yang mewakili entiti dan hubungannya dalam bentuk yang ringkas dan terdapat di mana-mana dalam aplikasi dalam sains semula jadi dan sosial. Walau bagaimanapun, data graf dalam dunia nyata berbeza secara meluas dalam struktur, kandungan dan tugasan Rangkaian dan reka bentuk seni bina GNN yang berprestasi terbaik untuk satu tugasan mungkin tidak sesuai untuk tugasan yang lain. Untuk set data dan tugas ramalan yang diberikan, cara cepat mendapatkan model dengan hasil yang baik adalah sangat bermakna untuk penyelidik atau jurutera algoritma aplikasi. Untuk set data dan tugas ramalan yang diberikan, seni bina rangkaian saraf apakah yang berkesan? Bolehkah kita membina sistem yang secara automatik meramalkan reka bentuk GNN yang baik? Dengan pemikiran ini, kumpulan Jure Leskovec mentakrifkan ruang reka bentuk GNN daripada tiga peringkat dalam karya mereka yang diterbitkan pada ruang reka bentuk rangkaian saraf graf pada tahun 2020. Kerja ini juga menyediakan asas untuk penghijrahan mesin automatik graf dan model graf asas.

Memandangkan tugasan tertentu dan set data tertentu, kita boleh lulus dahulu:

(1) Reka bentuk dalam lapisan: reka bentuk satu lapisan GNN.

(2) Reka bentuk antara lapisan: Cara menyambung lapisan GNN.

(3) Konfigurasi pembelajaran: Cara menetapkan parameter untuk pembelajaran mesin.

Bina ruang reka bentuk GNN yang sepadan dalam tiga arah Kemudian, dengan meletakkan kedudukan model untuk mengukur perbezaan prestasi mereka pada tugasan tertentu, anda boleh memahami reka bentuk model optimum di bawah data yang diberikan. Selain itu, untuk tugasan dan data baharu, kami juga boleh mengenal pasti tugas yang paling serupa dengan cepat dengan hanya mengira persamaan antara set data baharu dan koleksi sedia ada dalam ruang tugas, dan memindahkan model terbaiknya kepada data baharu ditetapkan. Dengan cara ini, model yang lebih baik boleh diperoleh dengan cepat pada set data yang tidak pernah digunakan sebelum ini. Sudah tentu, pembelajaran mesin automatik pada graf dan kebolehpindahan model graf adalah isu yang sangat penting dalam penyelidikan akademik dan aplikasi industri Dalam dua tahun lalu, terdapat banyak penerokaan dan pemikiran yang berkaitan Untuk mendapatkan lebih banyak kerja tentang pembelajaran mesin automatik pada graf, saya cadangkan anda memberi perhatian kepada semakan berkaitan kumpulan akademik guru Universiti Tsinghua Zhu Wenwu dan alat pembelajaran automatik sumber terbuka mereka AutoGL dan kerja berkaitan paradigma keempat dalam industri.

Sumber: AutoGL

Sebutan sebelumnya Ruang reka bentuk model yang diperoleh terutamanya tertumpu pada tahap struktur model, tetapi terdapat satu lagi dimensi yang sangat penting, iaitu perwakilan atau ruang pembelajaran model, yang juga sangat diperlukan untuk menambah. Pembelajaran mesin graf ialah kaedah pembelajaran perwakilan pada data graf Matlamatnya bukan untuk meramalkan hasil pemerhatian dengan mempelajari data asal, tetapi untuk mempelajari struktur asas data, supaya pembelajaran ciri yang sepadan bagi data asal boleh. dilakukan dengan lebih baik dan ekspresi untuk mencapai hasil yang lebih baik pada tugas hiliran.

Kebanyakan pembelajaran representasi semasa dilakukan dalam ruang Euclidean, kerana Ruang Euclidean ialah generalisasi semula jadi visual intuitif dan mesra kami ruang dan mempunyai kelebihan pengiraan dan pengiraan yang hebat. Tetapi seperti yang kita semua tahu, graf mempunyai struktur bukan Euclidean Sebagai contoh, penyelidikan dalam bidang rangkaian kompleks menunjukkan bahawa terdapat sejumlah besar sifat bebas skala dalam data rangkaian sebenar (rangkaian sosial, rangkaian komoditi, rangkaian telekomunikasi, penyakit. rangkaian, rangkaian semantik, dsb.) ( bebas skala), yang bermaksud bahawa struktur seperti pokok/hierarki ada di mana-mana dalam realiti. Menggunakan ruang Euclidean sebagai ruang terdahulu untuk pembelajaran perwakilan untuk melaksanakan pemodelan sepadan pasti akan menyebabkan ralat sepadan (herotan). Oleh itu, pembelajaran perwakilan berdasarkan ruang lengkung yang berbeza baru-baru ini menarik perhatian semua orang. Kelengkungan ialah ukuran kelengkungan ruang Semakin dekat kelengkungan kepada sifar, semakin rata ruang. Dalam novel fiksyen sains "The Three-Body Problem", manusia menggunakan perubahan kelengkungan angkasa untuk membina kapal angkasa yang melengkung. Seperti yang ditunjukkan dalam rajah di bawah, ruang Euclidean adalah seragam dan rata di mana-mana, mempunyai isotropi dan invarian terjemahan, dan oleh itu sesuai untuk memodelkan data grid. Ukuran jarak spatial sfera dengan kelengkungan positif adalah bersamaan dengan ukuran sudut dan mempunyai invarian putaran, jadi ia sesuai untuk memodelkan data gelang atau struktur data graf padat dan seragam. Metrik jarak ruang hiperbola dengan kelengkungan negatif adalah bersamaan dengan taburan undang-undang kuasa dan sesuai untuk memodelkan rangkaian tanpa skala atau struktur pokok.

​

Disebabkan terdapat bilangan yang besar data yang tidak diketahui dalam data rangkaian sebenar Tanpa skala bermakna struktur seperti pokok/hierarki ada di mana-mana dalam realiti. Antaranya, ruang hiperbolik dianggap sebagai ekspresi berterusan struktur pokok/hierarki dalam bidang sains rangkaian tradisional, jadi ia lebih sesuai untuk memodelkan data sebenar Baru-baru ini, banyak karya cemerlang telah muncul. Di samping itu, berbanding dengan ruang Euclidean, isipadu ruang hiperbolik meningkat secara eksponen dengan jejari, jadi ia mempunyai ruang terbenam yang lebih besar. Berbeza dengan ruang Euclidean, ruang hiperbolik mempunyai pelbagai model yang boleh diterangkan secara ringkas dengan menggunakan Bola Poincare sebagai contoh.

​

Cakera Poincaré ialah model hiperbolik dengan mengekang ruang benam dalam sfera unit. Dalam model hiperbolik sfera Poincaré, semua segi tiga terang dan gelap di atas adalah saiz yang sama, tetapi dari perspektif Euclidean kami, segitiga berhampiran tepi adalah agak kecil. Dengan kata lain, jika anda melihatnya dari perspektif Eropah, mengambil pusat bulatan di atas sebagai asal, apabila jejari bertambah, bilangan segi tiga menjadi semakin banyak

Kita boleh bayangkan bahawa menggunakan model ruang hiperbolik adalah seperti "meletupkan belon". Katakan belon yang kempis mempunyai satu bilion nod di permukaannya. Ini akan menjadi keadaan yang sangat padat. Apabila belon secara beransur-ansur mengembang dan menjadi lebih besar, permukaan belon menjadi lebih dan lebih "melengkung", dan nod menjadi lebih jauh. Pasukan teknikal Alimama menggunakan ruang kelengkungan (Curvlearn) pada senario pengiklanan carian berasaskan Taobao Selepas sistem dilancarkan sepenuhnya, penggunaan storan dikurangkan sebanyak 80% dan ketepatan padanan permintaan pihak pengguna meningkat sebanyak 15%. Selain sistem pengesyoran, model graf hiperbolik telah menunjukkan hasil yang sangat baik dalam pelbagai senario berbeza Pelajar yang berminat dengan kandungan berkaitan juga boleh merujuk kepada tutorial berkaitan kami tentang pembelajaran perwakilan graf hiperbolik pada ECML-PKDD tahun ini (laman utama Portal: https://hyperbolicgraphlearning.github.io/ ) atau tutorial berkaitan rangkaian saraf hiperbolik di WebConf oleh sarjana seperti Virginia Tech dan Amazon.

6. Sistem latihan rangkaian saraf graf, rangka kerja, platform penanda aras

Algoritma rangkaian saraf graf menggabungkan operasi rangkaian saraf dalam (seperti sebagai konvolusi , pengiraan kecerunan) digabungkan dengan perambatan graf berulang: ciri setiap bucu dikira oleh ciri bucu jirannya digabungkan dengan satu set rangkaian saraf dalam. Walau bagaimanapun, rangka kerja pembelajaran mendalam sedia ada tidak boleh melanjutkan dan melaksanakan model penyebaran graf, dan oleh itu tidak mempunyai keupayaan untuk melatih rangkaian saraf graf dengan cekap. Selain itu, skala data graf dalam dunia nyata adalah besar, dan terdapat kebergantungan yang kompleks antara bucu Contohnya, graf rangkaian sosial Facebook mengandungi lebih daripada 2 bilion bucu dan 1 trilion tepi graf dengan saiz ini boleh menjana 100 TB Berbeza daripada algoritma graf tradisional, pembahagian graf seimbang bukan sahaja bergantung pada bilangan bucu dalam partition, tetapi juga bergantung pada bilangan jiran bucu dalam partition -model rangkaian neural graf mungkin Perbezaannya adalah besar, dan pertukaran data yang kerap diperlukan antara partition ini Bagaimana untuk membahagikan data graf secara munasabah untuk memastikan prestasi latihan teragih adalah cabaran utama untuk sistem teragih. Di samping itu, data graf adalah sangat jarang, yang akan membawa kepada capaian silang nod yang kerap dalam pemprosesan teragih, mengakibatkan sejumlah besar mesej melalui overhed. Oleh itu, bagaimana untuk mengurangkan overhed sistem berdasarkan sifat khas graf adalah cabaran utama untuk meningkatkan prestasi sistem. Jika seorang pekerja ingin menjalankan tugasnya dengan baik, dia mesti mengasah peralatannya terlebih dahulu. Untuk menyokong aplikasi rangkaian saraf graf pada graf berskala besar dan penerokaan struktur rangkaian saraf graf yang lebih kompleks, adalah perlu untuk membangunkan sistem latihan untuk rangkaian saraf graf. Perkara pertama yang perlu dinyatakan ialah dua rangka kerja sumber terbuka yang paling terkenal PyG (PyTorch Geometric) dan DGL (Perpustakaan Graf Dalam Yang pertama ialah perpustakaan rangkaian saraf graf berasaskan PyTorch yang dibangunkan bersama oleh Universiti Stanford dan Universiti TU Dortmund). mengandungi banyak pelaksanaan Kaedah GNN dan set data yang biasa digunakan dalam kertas berkaitan disediakan, dan antara muka yang mudah dan mudah digunakan adalah rangka kerja pembelajaran graf yang dibangunkan bersama oleh Universiti New York dan Institut Penyelidikan Amazon rangka kerja sumber terbuka dalam kalangan akademik dan industri, kedua-duanya Semua mempunyai sokongan komuniti yang aktif.

Selain itu, banyak syarikat juga telah membina rangka kerja dan pangkalan data rangkaian neural graf mereka sendiri berdasarkan ciri perniagaan mereka sendiri. Contohnya: NeuGraph, EnGN, PSGraph, AliGraph, Roc, AGL, PGL, Galileo, TuGraph, Graf Sudut, dsb. Antaranya, AliGraph ialah platform rangkaian saraf graf yang menyepadukan pemodelan dan latihan pensampelan yang dibangunkan oleh Platform Pengkomputeran Alibaba dan Makmal Pengkomputeran Pintar Akademi DAMO. PGL (pembelajaran graf dayung) ialah rangka kerja pembelajaran graf yang sepadan berdasarkan PaddlePaddle yang dibangunkan oleh Baidu. Angle Graph ialah platform pengkomputeran graf berprestasi tinggi berskala besar yang dilancarkan oleh platform data Tencent TEG.

Mari bincang tentang platform penanda aras. Dalam penyelidikan teras atau bidang aplikasi pembelajaran mesin mendalam, set data penanda aras serta platform membantu mengenal pasti dan mengukur jenis seni bina, prinsip atau mekanisme yang universal dan boleh digeneralisasikan kepada tugas sebenar dan set data yang besar. Sebagai contoh, revolusi terkini dalam model rangkaian saraf telah dicetuskan oleh set data imej penanda aras berskala besar ImageNet. Berbanding dengan grid atau data jujukan, pembangunan model data graf masih dalam tahap pertumbuhan yang agak bebas. Pertama, set data selalunya terlalu kecil untuk dipadankan dengan senario dunia sebenar, bermakna sukar untuk menilai algoritma dengan pasti dan teliti. Kedua, skema untuk menilai algoritma tidak seragam. Pada asasnya, setiap kertas penyelidikan menggunakan kaedah pembahagian data "set latihan/set ujian" sendiri dan penunjuk penilaian prestasi. Ini bermakna sukar untuk melakukan perbandingan prestasi merentas kertas dan seni bina. Di samping itu, penyelidik yang berbeza sering menggunakan kaedah pembahagian rawak tradisional apabila membahagikan set data. Untuk menyelesaikan masalah kaedah pembahagian data dan data tugas yang tidak konsisten dan skema penilaian dalam komuniti pembelajaran graf, pasukan Jure Leskovec Universiti Stanford melancarkan Penanda Aras Graf Terbuka (OGB), kerja asas untuk platform penanda aras rangkaian saraf graf, pada 2020 .

OGB mengandungi beberapa alatan sedia untuk digunakan untuk tugas utama pada graf (klasifikasi nod, ramalan pautan, klasifikasi graf dsb.), ia juga mengandungi perpustakaan kod biasa dan kod pelaksanaan untuk penunjuk penilaian prestasi, membolehkan penilaian dan perbandingan model pantas. Selain itu, OGB juga mempunyai papan pemeringkatan prestasi model (papan pendahulu), yang boleh memudahkan semua orang mengikuti kemajuan penyelidikan yang sepadan dengan cepat. Di samping itu, pada tahun 2021, OGB bersama-sama mengadakan pertandingan OGB-LSC (OGB Large-Scale Challenge) pertama dengan KDD CUP, menyediakan data graf berskala ultra besar dari dunia sebenar untuk melengkapkan klasifikasi nod, ramalan tepi dan pembelajaran graf dalam Bidang pembelajaran graf Berbalik kepada tiga tugas utama, ia telah menarik penyertaan banyak universiti dan syarikat teknologi terkemuka termasuk Microsoft, Deepmind, Facebook, Alibaba, Baidu, ByteDance, Stanford, MIT, Universiti Peking, dll. Tahun ini, dalam trek pertandingan NeurIPS2022, berdasarkan pengalaman Piala KDD, set data yang sepadan telah dikemas kini dan pertandingan OGB-LSC kedua telah dianjurkan kini telah diumumkan kepada umum

(Cara yang baik untuk membiasakan diri dengan cepat dalam bidang adalah dengan membaca disertasi kedoktoran pelajar yang baru menamatkan pengajian dari makmal. Rex YING dan You Jiaxuan dari makmal SNAP mesti mempunyai nama. Mereka mula bekerja di Jure masing-masing pada tahun 2016 dan 2017 Di bawah bimbingan Leskovec, penyelidikan yang berkaitan dengan pembelajaran graf telah mula menjadi mercu tanda dalam proses pembangunan pembelajaran graf Pembelajaran Perwakilan Dalam Berskala untuk Graf" dan "Memperkasakan Pembelajaran Mendalam dengan Graf". )

7. Ringkasan dan pandangan

Selepas lebih daripada sepuluh tahun pembangunan dan pelaksanaan industri baru-baru ini dalam pelbagai industri Melalui aplikasi dan lelaran berterusan teori di makmal, rangkaian saraf graf telah terbukti sebagai kaedah dan rangka kerja yang berkesan untuk memproses data berstruktur graf secara teori dan praktikal. Sebagai struktur data yang universal, ringkas dan berkuasa, graf bukan sahaja boleh digunakan sebagai input dan output model graf untuk melombong dan mempelajari data berstruktur bukan Euclidean, tetapi juga boleh digunakan sebagai struktur priori untuk memodelkan data Eropah (teks dan gambar). Dalam jangka panjang, kami percaya bahawa data graf + rangkaian saraf akan berubah daripada bidang penyelidikan yang baru muncul kepada paradigma data + model standard untuk penyelidikan dan aplikasi pembelajaran mesin, memperkasakan lebih banyak industri dan senario.

​

(tidak boleh mengelak membuat tinjauan) Walaupun GNN telah telah Ia telah mencapai kejayaan besar dalam banyak bidang Namun, dengan pengembangan senario aplikasi, perubahan dinamik sebenar dan persekitaran terbuka yang tidak diketahui, sebagai tambahan kepada banyak masalah dan cabaran yang dinyatakan di atas, masih terdapat banyak arah yang layak untuk diterokai lebih lanjut:

Senario baharu dan paradigma baharu rangkaian saraf graf: Dalam dunia nyata, daripada graviti planet hingga interaksi molekul, hampir semuanya boleh dilihat sebagai berkaitan dalam sesetengah perhubungan. Kemudian ia boleh dianggap sebagai gambar. Daripada analisis rangkaian sosial kepada sistem pengesyoran dan sains semula jadi, kami telah melihat penerokaan aplikasi berkaitan rangkaian saraf graf dalam pelbagai bidang dan pembangunan model yang timbul daripada masalah aplikasi, seperti interaksi spatio-temporal dalam pengangkutan pintar, kategori yang berbeza dalam senario kawalan risiko kewangan. Keseimbangan, masalah diskriminasi struktur analisis dalam bidang biokimia, dan lain-lain. Oleh itu, cara menyesuaikan diri dengan mempelajari ciri-ciri berkaitan adegan dalam adegan yang berbeza masih merupakan hala tuju yang penting. Di samping itu, dalam satu pihak, GNN semasa terutamanya berdasarkan paradigma penghantaran mesej, menggunakan tiga langkah pemindahan maklumat, pengumpulan maklumat, dan kemas kini maklumat Bagaimana untuk membuat pemindahan maklumat, pengumpulan dan kemas kini lebih munasabah dan cekap pada masa ini lebih penting untuk kerja GNN, sebaliknya, masalah pelicinan maklumat dan kesesakan maklumat yang disebabkan oleh rangka kerja penghantaran mesej dan andaian pelbagai juga akan menyekat kesannya dalam data dan senario yang lebih kompleks. Secara keseluruhan, kebanyakan GNN sentiasa meminjam beberapa idea daripada penglihatan komputer dan pemprosesan bahasa semula jadi, tetapi bagaimana untuk melanggar peraturan peminjaman, mereka bentuk model yang lebih berkuasa berdasarkan keutamaan induktif data graf, dan menyuntik ciri unik ke dalam rangkaian saraf graf? jiwa juga akan menjadi hala tuju pengkaji di lapangan terus berfikir dan bekerja keras.

Pembelajaran struktur graf: Perbezaan utama antara rangkaian neural graf dan rangkaian neural tradisional ialah ia dipandu oleh struktur graf dan mengagregatkan maklumat jiran untuk mempelajari perwakilan nod. Aplikasi ini sebenarnya mempunyai andaian asas: struktur graf adalah betul, iaitu sambungan pada graf adalah nyata dan boleh dipercayai. Sebagai contoh, tepi dalam graf sosial membayangkan persahabatan sebenar. Walau bagaimanapun, sebenarnya, struktur graf tidak begitu boleh dipercayai, dan sambungan bising dan sambungan tidak sengaja adalah perkara biasa. Struktur graf yang salah dan proses resapan GNN akan mengurangkan perwakilan nod dan prestasi tugas hiliran (sampah masuk, sampah keluar). Oleh itu, cara untuk mempelajari struktur graf dengan lebih baik dan cara membina struktur graf yang lebih boleh dipercayai dalam senario data yang berbeza adalah satu hala tuju yang penting.

Rangkaian Neural Graf Dipercayai: Disebabkan oleh mekanisme pemindahan maklumat dan ciri bukan IID data graf, GNN sangat berkesan terhadap serangan. Rapuh, mudah dipengaruhi oleh gangguan musuh dalam ciri nod dan struktur graf. Contohnya, penipu boleh mengelak pengesanan penipuan berasaskan GNN dengan membuat transaksi dengan pengguna kredit tinggi tertentu. Oleh itu, adalah sangat perlu untuk membangunkan rangkaian neural graf yang teguh untuk sesetengah kawasan yang mempunyai risiko keselamatan yang tinggi. Sebaliknya, apabila seluruh masyarakat memberi perhatian yang semakin meningkat kepada perlindungan privasi, keadilan rangkaian saraf graf dan perlindungan privasi data juga menjadi topik hangat dalam penyelidikan baru-baru ini. Contohnya, FederatedScope-GNN, platform sumber terbuka pembelajaran bersekutu Alibaba DAMO Academy untuk data graf pada 2022, turut memenangi kertas permohonan terbaik dalam KDD 2022 tahun ini. Selain itu, cara membuat model graf terlatih melupakan kesan latihan data tertentu/parameter khusus untuk mencapai tujuan melindungi data tersembunyi dalam model juga merupakan arah yang patut dibincangkan.

Kebolehtafsiran: Walaupun model pembelajaran mendalam telah mencapai prestasi yang di luar jangkauan kaedah tradisional pada banyak tugas, kerumitan model membawa kepada Kebolehtafsiran cenderung lebih terhad. Walau bagaimanapun, dalam banyak bidang kepekaan tinggi seperti bioinformatik, kesihatan dan kawalan risiko kewangan, kebolehtafsiran adalah penting apabila menilai model pengiraan dan memahami mekanisme asas dengan lebih baik. Oleh itu, mereka bentuk model/seni bina yang boleh ditafsir atau boleh menggambarkan perhubungan yang kompleks dengan lebih baik telah menarik lebih perhatian baru-baru ini. Kerja sedia ada terutamanya merujuk kepada kaedah pemprosesan kebolehtafsiran dalam teks dan imej. Contohnya, kaedah berdasarkan perubahan kecerunan atau gangguan input (mis. GNNExplainer). Baru-baru ini, beberapa penyelidik telah cuba meneroka rangka kerja pengukuran kebolehjelasan menggunakan kaedah penapisan sebab untuk mendapatkan kebolehjelasan intrinsik rangkaian saraf graf berdasarkan pembelajaran invarian, dan juga memberikan cerapan tentang kebolehjelasan model graf dengan lebih baik.

Generalisasi luar pengedaran: Masalah pembelajaran umum adalah untuk melengkapkan latihan model pada set latihan, dan kemudian model perlu memberikan keputusan pada set ujian baharu Apabila pengedaran data ujian berbeza dengan ketara daripada pengedaran latihan, ralat generalisasi model sukar dikawal. Kebanyakan kaedah rangkaian saraf graf (GNN) semasa tidak mengambil kira sisihan yang tidak diketahui antara graf latihan dan graf ujian, mengakibatkan prestasi generalisasi GNN yang lemah pada graf luar pengedaran (OOD). Walau bagaimanapun, banyak senario dalam realiti memerlukan model berinteraksi dengan persekitaran terbuka dan dinamik Semasa fasa latihan, model perlu mempertimbangkan entiti atau sampel baharu daripada pengedaran yang tidak diketahui pada masa hadapan, seperti pengguna/item baharu dalam sistem pengesyoran, baharu. produk dalam sistem pengiklanan dalam talian, dsb. Potret pengguna/ciri tingkah laku platform, nod baharu atau perhubungan tepi dalam rangkaian dinamik, dsb. Oleh itu, cara menggunakan data pemerhatian terhad untuk mempelajari model GNN yang stabil yang boleh digeneralisasikan kepada persekitaran baharu dengan data yang tidak diketahui atau terhad juga merupakan hala tuju penyelidikan yang penting.

Pralatihan data graf dan model am: Paradigma pra-latihan telah mencapai kejayaan revolusioner dalam bidang visi komputer dan semula jadi pemprosesan bahasa. Keupayaannya telah terbukti dalam banyak misi. Walaupun GNN sudah mempunyai beberapa model yang agak matang dan aplikasi yang berjaya, ia masih terhad kepada pembelajaran mendalam yang menggunakan sejumlah besar data berlabel untuk melatih model untuk tugasan tertentu Apabila tugas berubah atau label tidak mencukupi, hasilnya selalunya tidak memuaskan. Oleh itu, ia secara semulajadi mencetuskan penerokaan dan pemikiran semua orang tentang model umum dalam senario data graf. Kunci kepada pra-latihan terletak pada data latihan yang banyak, pengetahuan yang boleh dipindahkan, model tulang belakang yang berkuasa dan kaedah latihan yang berkesan. Berbanding dengan maklumat semantik yang jelas dalam penglihatan komputer dan pemprosesan bahasa semula jadi, kerana struktur data graf yang berbeza berbeza-beza secara meluas, pengetahuan dalam graf yang boleh dipindahkan masih menjadi persoalan yang agak terbuka. Di samping itu, walaupun model GNN yang mendalam dan umum telah dikaji, mereka masih belum membawa peningkatan revolusioner. Nasib baik, komuniti pembelajaran mesin graf telah mengumpul data graf berskala besar dan telah membangunkan kaedah latihan yang diselia sendiri seperti pembinaan semula graf. Dengan penerokaan lanjut penyelidikan seterusnya mengenai GNN mendalam, GNN dengan keupayaan yang lebih ekspresif, dan paradigma baharu penyeliaan kendiri graf, dipercayai bahawa model universal dengan serba boleh yang kukuh akhirnya akan direalisasikan.

Kolaborasi perisian dan perkakasan: Sebagai aplikasi dan pembangunan penyelidikan kemajuan pembelajaran graf, GNN pasti akan disepadukan dengan lebih mendalam ke dalam PyTorch. Dalam rangka kerja dan platform standard seperti TensorFlow dan Mindpsore. Untuk meningkatkan lagi kebolehskalaan model graf, lebih banyak rangka kerja algoritma mesra perkakasan dan penyelesaian pecutan perkakasan yang diselaraskan perisian adalah trend umum. Walaupun struktur pecutan khusus untuk aplikasi rangkaian saraf graf perlahan-lahan muncul, menyesuaikan unit perkakasan pengkomputeran dan hierarki storan pada cip untuk rangkaian saraf graf, dan cip khusus yang mengoptimumkan pengkomputeran dan gelagat akses memori telah berjaya, teknologi ini masih di peringkat awal. Menghadapi cabaran yang besar dan memberikan banyak peluang.

Atas ialah kandungan terperinci Estetika topologi dalam pembelajaran mendalam: asas dan aplikasi GNN. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!