清華朱文武團隊：開源世界首個輕量圖自動機器學習庫AutoGL-light

清華大學朱文武教授團隊自2020 年發布智圖庫（AutoGL）以來，在圖自動機器學習的可解釋性和可泛化能力等方面取得新進展，特別關注圖Transformer、圖分散外泛化（OOD）、圖自監督學習等方面，發表圖神經架構搜尋評測基準，並在中國新一代開源創新服務平台GitLink 上發布首個輕智圖庫（AutoGL-light）。

智圖庫回顧

圖（graph）是描述資料間關係的一般抽象，廣泛存在於不同的研究領域中並有許多重要應用，例如社交網路分析、推薦系統、交通預測等網路應用，新藥物發現、新材料製備等科學應用（AI for Science），涵蓋許多不同領域。圖機器學習在近年來取得了廣泛關注。由於不同圖資料在結構、性質和任務上千差萬別，現有人工設計的圖機器學習模型缺乏不同場景與環境變化的泛化能力。圖自動機器學習（AutoML on Graphs）是圖機器學習發展的前沿，旨在針對給定的數據和任務，自動化地設計最優的圖機器學習模型，在研究與應用上都有極大的價值。

針對圖自動機器學習問題，清華大學朱文武教授團隊從2017 年開始佈局，並在2020 年發布了智圖庫（AutoGL）—— 世界首個針對圖自動機器學習的平台和工具包。

專案網址：https://github.com/THUMNLab/AutoGL

智圖庫已在GitHub 獲得了超千個星標，吸引了超過20 個國家和地區數萬次訪問，並在GitLink 上進行了發布。智圖庫包含一套完整的圖自動機器學習流程，涵蓋了主流的圖自動機器學習方法。智圖庫透過圖自動機器學習解決方案AutoGL Solver，將圖上的自動機器學習分割為五個核心部分：圖自動特徵工程、圖神經架構搜尋（NAS）、圖超參數最佳化（HPO）、圖模型訓練，以及圖模型自動整合。智圖庫已經支援節點分類、異構圖節點分類、連結預測、圖分類等多種類型的圖任務。

圖自動機器學習研究新進展

針對目前圖自動機器學習缺乏可解釋性和可泛化能力等問題，智圖團隊在圖自動機器學習研究取得了一系列新進展。

1. 圖分佈外泛化（OOD）架構搜尋

#針對圖神經架構搜尋無法處理圖資料分佈變化問題，提出了基於解耦自監督學習的圖神經架構搜尋方法，透過為每個圖樣本定制合適的圖神經網路架構，有效增強了圖神經架構搜尋方法處理資料分佈偏移的適應能力。該工作已發表於機器學習頂級國際會議 ICML 2022。

論文網址：https://proceedings.mlr.press/v162/qin22b/qin22b.pdf

#2.大規模圖架構搜尋

針對現有圖神經架構搜尋無法處理大規模圖問題，提出了基於架構- 子圖聯合採樣機制的超網路訓練方法，透過重要性採樣和同儕學習（peer learning）演算法，突破了採樣過程中的一致性瓶頸，極大程度提升了圖神經架構搜尋的效率，首次實現了單機可處理億規模真實圖數據。該工作已發表於機器學習頂級國際會議 ICML 2022。

論文網址：https://proceedings.mlr.press/v162/guan22d.html

3. 圖神經架構搜尋評測基準

#

針對圖神經架構搜尋缺乏統一的評測標準，以及評測過程消耗的計算資源量巨大問題，智圖團隊研究並提出了圖神經架構搜尋基準NAS-Bench-Graph，首個針對圖神經架構搜尋的表格式基準。此基準可以有效率、公平、可複現地比較不同圖神經架構搜尋方法，填補了針對圖資料架構搜尋沒有基準的空白。 NAS-Bench-Graph 設計了一個包含26,206 種不同圖神經網路架構的搜尋空間，採用了9 個常用的不同大小、不同類型的節點分類圖數據，並提供了已經完全訓練好的模型效果，可以在保證可復現性與公平比較的同時，大幅減少計算資源。該工作已發表於機器學習頂尖國際會議 NeurIPS 2022。

計畫網址：https://github.com/THUMNLab/NAS-Bench-Graph

4. 自動圖Transformer

針對目前人工設計的圖Transformer 架構難以取得最佳預測效能問題，提出了自動圖Transformer 架構搜尋框架，透過統一的圖Transformer 搜尋空間與結構感知的效能評估策略，解決了設計最佳圖Transformer 耗時長，難以得到最優架構的難題，該工作發表於機器學習頂級國際會議ICLR 2023。

論文網址：https://openreview.net/pdf?id=GcM7qfl5zY

#5. 魯棒圖神經架構搜尋

針對目前圖神經架構搜尋無法處理對抗打擊問題，提出了穩健圖神經架構搜尋方法，透過在搜尋空間中增加穩健性圖算子並在搜尋過程中提出了穩健性評估指標，增強了圖神經架構搜尋抵禦對抗打擊的能力。該工作已發表於模式識別頂級國際會議 CVPR 2023。

論文地址：https://openaccess.thecvf.com/content/CVPR2023/papers/Xie_Adversarially_Robust_Neural_Architecture_Search_for_Graph_Neural_Networks_CVPR_2023_#pa.pdf

##123

##6. 自監督圖神經架構搜尋

現有圖神經架構搜尋嚴重依賴標籤作為訓練和搜尋架構的指標，限制了圖自動機器學習在標籤匱乏場景的應用。針對這個問題，智圖團隊提出了自監督圖神經架構搜尋方法，發現了驅動圖資料形成的圖因子與最優神經架構之間潛在的關係，採用了一種新穎的解耦自監督圖神經架構搜尋模型，實現了有效在無標籤圖資料上搜尋最優架構。該工作已被機器學習頂級會議 NeurIPS 2023 接收。

7. 多重任務圖神經架構搜尋

針對現有圖神經架構搜尋無法考慮不同任務對架構需求的差異性問題，智圖團隊提出了首個多任務圖神經網路架構搜尋方法，透過同時為不同圖任務設計最優架構並採用課程學習捕捉不同任務之間的協作關係，有效實現了不同圖任務客製化最優架構。該工作已被機器學習頂級會議 NeurIPS 2023 接收。

輕智圖庫

#基於上述研究進展，智圖團隊在CCF 指定開源平台GitLink 發布了輕量智圖（AutoGL-light），世界首個輕量圖自動機器學習開源程式庫。其整體架構圖如圖 1 所示。輕量智圖主要有以下特點：

#圖 1. 輕量智圖框架圖#

專案網址：https://gitlink.org.cn/THUMNLab/AutoGL-light

#1. 模組解耦

輕量級智圖透過更全面的模組解耦方式，實現了對不同圖自動機器學習管線更便捷的支持，允許在機器學習流程的任何步驟中自由加入模組，滿足用戶客製化需求。

2. 自主自訂能力

#輕量級智圖庫支援使用者自主自訂化圖超參數最佳化（HPO ）和圖神經架構搜尋（NAS）。在圖超參數最佳化模組中，輕量智圖提供了多種超參數最佳化演算法和搜尋空間，並支援使用者透過繼承基底類別來建立自己的搜尋空間。在圖神經架構搜尋模組中，輕量智圖實現了典型和最先進的搜尋演算法，且使用者能夠根據自己的需求自主輕鬆組合和自訂搜尋空間、搜尋策略和評估策略的模組設計。

3. 廣泛的應用領域

#輕智圖的應用不僅限於傳統的圖機器學習任務，而是進一步擴展到了更廣泛的應用領域。目前，輕量智圖已經支持了分子圖、單細胞組學數據等 AI for Science 應用。在未來，輕量智圖希望可以為不同領域圖資料提供最先進的圖自動機器學習解決方案。

4. GitLink 程式設計夏令營

#以輕量智圖為契機，智圖團隊深度參與了GitLink編程夏令營（GLCC），其是在CCF 中國電腦學會指導下，由CCF 開源發展委員會（CCF ODC）舉辦的全國高校學生的暑期程式設計活動。智圖團隊的兩個計畫 「GraphNAS 演算法復現」 和 「圖自動學習科學領域應用案例」 吸引了國內十餘所大學的本科生和研究生報名。

夏令營舉辦過程中，智圖團隊與參與同學積極溝通，工作進度程度超乎預期。其中，GraphNAS 演算法複現專案在輕量智圖中成功實現了上述介紹的圖分佈外泛化架構搜尋（ICML'22）、大規模圖架構搜尋（ICML'22）、自動圖Transformer （ICLR'23 ），有效驗證了輕量智圖庫的靈活性與自主自訂能力。

圖自動機器學習科學領域應用專案則在輕量級智圖實現了基於圖的生物資訊處理演算法，包括用於單細胞RNA 定序分析的代表性演算法scGNN、用於分子表徵學習的代表性演算法MolCLR，以及用於分子結構預測的代表性演算法AutoGNNUQ，推動了圖自動機器學習技術在AI for Science 中的應用。在GitLink 程式設計夏令營中，輕量智圖既豐富了演算法和應用案例，也使參與的同學鍛鍊了開源軟體開發等技能，在圖自動機器學習方面培養人才，並為助力我國開源生態建設的發展貢獻了自己的力量。

智圖團隊來自清華大學電腦系朱文武教授領導的網路與媒體實驗室，核心成員包括助理教授王鑫、博士後張子威、博士生李昊陽、秦一鑑、張澤陽，碩士生關超宇等十餘人。計畫得到了國家自然科學基金委和科技部的大力支持。

以上是清華朱文武團隊：開源世界首個輕量圖自動機器學習庫AutoGL-light的詳細內容。更多資訊請關注PHP中文網其他相關文章！