L'équipe de Tsinghua Zhu Wenwu : AutoGL-light, la première bibliothèque légère d'apprentissage automatique automatique au monde pour les graphiques en open source

Le professeur Zhu Wenwu de l'équipe de l'Université Tsinghua a réalisé de nouveaux progrès dans l'interprétabilité et la généralisabilité de l'apprentissage automatique des graphes depuis la sortie d'AutoGL en 2020, avec un accent particulier sur le transformateur de graphes et la généralisation hors distribution de la distribution de graphes (OOD). , l'apprentissage auto-supervisé des graphes, etc., a publié des références d'évaluation de la recherche d'architecture neuronale graphique et a publié la première bibliothèque d'intelligence légère (AutoGL-light) sur la plate-forme chinoise de services d'innovation open source de nouvelle génération, GitLink.

Intelligence Library Review

Le graphique est une abstraction générale qui décrit la relation entre les données. Il est largement utilisé dans différents domaines de recherche et a de nombreuses applications importantes, telles que l'analyse des réseaux sociaux, les systèmes de recommandation, la prévision du trafic et autres. Les applications Internet, la découverte de nouveaux médicaments, la préparation de nouveaux matériaux et autres applications scientifiques (AI for Science) couvrent de nombreux domaines différents. L’apprentissage automatique des graphes a suscité une grande attention ces dernières années. Étant donné que les différentes données graphiques varient considérablement en termes de structure, de nature et de tâches, les modèles d'apprentissage automatique graphiques existants conçus manuellement n'ont pas la capacité de se généraliser à différents scénarios et changements environnementaux. AutoML on Graphs est à la pointe du développement de l'apprentissage automatique graphique. Il vise à concevoir automatiquement le modèle d'apprentissage automatique graphique optimal pour des données et des tâches données. Il est d'une grande valeur à la fois dans la recherche et dans les applications.

En réponse au problème de l'apprentissage automatique automatique sur les graphiques, l'équipe du professeur Zhu Wenwu de l'Université Tsinghua a commencé à planifier en 2017 et a publié AutoGL en 2020 - la première plate-forme et boîte à outils au monde pour l'apprentissage automatique automatique sur les graphiques.

Adresse du projet : https://github.com/THUMNLab/AutoGL

La bibliothèque intelligente a reçu plus d'un millier d'étoiles sur GitHub, attirant des dizaines de milliers de visites de plus de 20 pays et régions , et publié sur GitLink. La bibliothèque intelligente comprend un ensemble complet de processus d'apprentissage automatique automatique de graphiques, couvrant les méthodes d'apprentissage automatique automatique de graphiques traditionnelles. Grâce à la solution d'apprentissage automatique des graphiques AutoGL Solver, Zhitu divise l'apprentissage automatique des graphiques sur le graphique en cinq parties principales : ingénierie automatique des fonctionnalités du graphique, recherche d'architecture neuronale du graphique (NAS), optimisation des hyperparamètres du graphique (HPO), formation du modèle de graphique et automatique. intégration de modèles graphiques. La bibliothèque intelligente prend déjà en charge divers types de tâches graphiques telles que la classification de nœuds, la classification de nœuds de graphiques hétérogènes, la prédiction de liens et la classification de graphiques.

Nouveaux progrès dans la recherche sur l'apprentissage automatique des graphes

Compte tenu du manque actuel d'interprétabilité et de généralisabilité de l'apprentissage automatique des graphes, l'équipe Zhitu a réalisé une série de nouveaux progrès dans la recherche sur l'apprentissage automatique des graphes.

1. Recherche d'architecture de généralisation hors distribution (OOD) de graphique

Visant le problème selon lequel la recherche d'architecture neuronale graphique ne peut pas gérer les changements dans la distribution des données graphiques, une méthode de recherche d'architecture neuronale graphique basée sur le découplage L'apprentissage auto-supervisé est proposé. En personnalisant une architecture de réseau neuronal graphique appropriée pour chaque échantillon de graphique, l'adaptabilité du procédé de recherche d'architecture neuronale graphique pour gérer les changements de distribution de données est efficacement améliorée. Ces travaux ont été publiés à l'ICML 2022, une conférence internationale de premier plan sur l'apprentissage automatique.

Adresse papier : https://proceedings.mlr.press/v162/qin22b/qin22b.pdf

2. La recherche ne peut pas gérer les problèmes de graphes à grande échelle. Une méthode de formation de super-réseau basée sur le mécanisme d'échantillonnage conjoint architecture-sous-graphe est proposée, grâce aux algorithmes d'échantillonnage d'importance et d'apprentissage par les pairs, le goulot d'étranglement de cohérence dans le processus d'échantillonnage est dans une large mesure résolu. améliore l'efficacité de la recherche d'architecture neuronale graphique et permet à une seule machine de traiter pour la première fois des milliards de données graphiques réelles. Ces travaux ont été publiés à l'ICML 2022, une conférence internationale de premier plan sur l'apprentissage automatique.

Adresse papier : https://proceedings.mlr.press/v162/guan22d.html

3.

Compte tenu du manque de normes d'évaluation unifiées pour la recherche d'architecture neuronale graphique et de l'énorme quantité de ressources informatiques consommées dans le processus d'évaluation, l'équipe Zhitu a recherché et proposé le benchmark de recherche d'architecture neuronale graphique NAS-Bench-Graph, le premier graphique référence de recherche d'architecture neuronale Référence tabulaire. Ce benchmark peut comparer de manière efficace, équitable et reproductible différentes méthodes de recherche d'architecture neuronale graphique, comblant ainsi le vide où il n'existe pas de référence pour la recherche d'architecture de données graphiques. NAS-Bench-Graph a conçu un espace de recherche contenant 26 206 architectures de réseaux neuronaux graphiques différentes, en utilisant 9 données graphiques de classification de nœuds couramment utilisées de différentes tailles et types, et a fourni des effets de modèle entièrement entraînés, qui peuvent être utilisés dans tout en garantissant la reproductibilité et une comparaison équitable, les ressources informatiques sont considérablement réduites. Ces travaux ont été publiés à NeurIPS 2022, une conférence internationale de premier plan sur l'apprentissage automatique.

Adresse du projet : https://github.com/THUMNLab/NAS-Bench-Graph

4. Transformateur de graphique automatique

Il est difficile d'obtenir le graphique actuel conçu manuellement. Architecture du transformateur Pour le problème des performances de prédiction optimales, un cadre de recherche automatique de l'architecture du transformateur de graphe est proposé grâce à un espace de recherche de graphe unifié et une stratégie d'évaluation des performances prenant en compte la structure, il résout le problème selon lequel la conception du graphe optimal du transformateur prend du temps. et difficile d'obtenir l'architecture optimale. Ce travail publié à l'ICLR 2023, la plus grande conférence internationale sur l'apprentissage automatique.

Adresse papier : https://openreview.net/pdf?id=GcM7qfl5zY

5. La recherche d'architecture neuronale graphique robuste ne peut pas gérer la confrontation. Pour résoudre le problème, une méthode de recherche d'architecture neuronale graphique robuste est proposée. En ajoutant des opérateurs de graphes robustes dans l'espace de recherche et en proposant des indicateurs d'évaluation de robustesse pendant le processus de recherche, la capacité de la recherche d'architecture neuronale graphique à résister aux attaques adverses est améliorée. Ce travail a été publié au CVPR 2023, une conférence internationale de premier plan sur la reconnaissance de formes.

Adresse papier : https://openaccess.thecvf.com/content/CVPR2023/papers/Xie_Adversarially_Robust_Neural_Architecture_Search_for_Graph_Neural_Networks_CVPR_2023_paper.pdf

6 Graphe Recherche d'architecture neuronale

Graphique existant Recherche d'architecture neuronale. s'appuie fortement sur les étiquettes comme indicateurs pour les architectures de formation et de recherche, limitant l'application de l'apprentissage automatique automatique des graphiques dans les scénarios manquant d'étiquettes. En réponse à ce problème, l'équipe Zhitu a proposé une méthode de recherche d'architecture neuronale graphique auto-supervisée, a découvert la relation potentielle entre les facteurs graphiques qui déterminent la formation des données graphiques et l'architecture neuronale optimale, et a adopté une nouvelle architecture neuronale graphique auto-supervisée découplée. Le modèle de recherche réalise une recherche efficace d'une architecture optimale sur des données graphiques non étiquetées. Ce travail a été accepté dans NeurIPS 2023, une conférence de premier plan sur l'apprentissage automatique.

7. Recherche d'architecture neuronale de graphes multi-tâches

Compte tenu du problème selon lequel la recherche d'architecture neuronale de graphes existante ne peut pas prendre en compte les différences d'exigences architecturales des différentes tâches, l'équipe Zhitu a proposé la première graphe multitâche La méthode de recherche d'architecture de réseau neuronal réalise efficacement l'architecture optimale personnalisée pour différentes tâches graphiques en concevant simultanément des architectures optimales pour différentes tâches graphiques et en utilisant l'apprentissage du cours pour capturer les relations de collaboration entre différentes tâches. Ce travail a été accepté dans NeurIPS 2023, une conférence de premier plan sur l'apprentissage automatique.

Lightweight Intelligent Graph

Sur la base des progrès de recherche ci-dessus, l'équipe Intelligent Graph a publié AutoGL-light, le premier apprentissage automatique automatique de graphiques légers au monde, sur la plate-forme open source désignée par le CCF, la bibliothèque open source GitLink. . Son schéma d'architecture global est présenté à la figure 1. La carte intelligente légère présente principalement les caractéristiques suivantes :

Figure 1. Diagramme du cadre de carte intelligente légère

Adresse du projet : https://gitlink.org.cn/THUMNLab/AutoGL-light

1. Découplage de module

Un graphique intelligent léger est réalisé grâce à une méthode de découplage de module plus complète. pour les pipelines d'apprentissage automatique automatiques pour différents graphiques, permettant d'ajouter librement des modules à n'importe quelle étape du processus d'apprentissage automatique pour répondre aux besoins de personnalisation des utilisateurs.

2. Capacité d'auto-personnalisation

Le groupe de réflexion léger prend en charge l'optimisation des hyperparamètres graphiques (HPO) personnalisés par l'utilisateur et la recherche d'architecture neuronale graphique (NAS). Dans le module d'optimisation des hyperparamètres graphiques, Lightweight Intelligent Graph fournit une variété d'algorithmes d'optimisation d'hyperparamètres et d'espaces de recherche, et aide les utilisateurs à créer leurs propres espaces de recherche en héritant des classes de base. Dans le module de recherche d'architecture neuronale graphique, le graphique intelligent léger implémente les algorithmes de recherche typiques et les plus avancés, et les utilisateurs peuvent facilement combiner et personnaliser la conception du module des espaces de recherche, des stratégies de recherche et des stratégies d'évaluation en fonction de leurs propres besoins.

3. Large gamme de domaines d'application

L'application de graphiques intelligents légers ne se limite pas aux tâches traditionnelles d'apprentissage automatique des graphiques, mais a été étendue à un plus large éventail de domaines d'application. Actuellement, les graphiques intelligents légers prennent déjà en charge les applications d’IA pour la science telles que les graphiques moléculaires et les données omiques unicellulaires. À l’avenir, Lightweight Intelligent Graph espère fournir les solutions d’apprentissage automatique automatique de graphiques les plus avancées pour les données graphiques dans différents domaines.

4. Camp d'été de programmation GitLink

Profitant de l'opportunité de Lightweight Intelligent Map, l'équipe d'Intelligent Map est profondément impliquée dans le camp d'été de programmation GitLink (GLCC), développé par le CCF open source sous la direction de CCF China Computer Society Un événement de programmation d'été pour les étudiants de tout le pays, organisé par le CCF ODC. Les deux projets de l'équipe Zhitu, « GraphNAS Algorithm Reproduction » et « Application Cases in the Field of Graph Automatic Learning Science », ont incité des étudiants de premier cycle et des cycles supérieurs de plus de dix universités nationales à s'inscrire.

Pendant le camp d'été, l'équipe Zhitu a communiqué activement avec les étudiants participants et l'avancement des travaux a dépassé les attentes. Parmi eux, le projet de réplication d'algorithmes GraphNAS a mis en œuvre avec succès la recherche d'architecture généralisée mentionnée ci-dessus en dehors de la distribution de graphes (ICML'22), la recherche d'architecture de graphes à grande échelle (ICML'22) et le transformateur de graphes automatique (ICLR'23) en langage léger. graphiques intelligents. ), vérifiant efficacement la flexibilité et les capacités de personnalisation indépendantes du groupe de réflexion léger.

Le projet d'application scientifique sur le terrain de l'apprentissage automatique des graphes met en œuvre des algorithmes de traitement de l'information biologique basés sur des graphes sur des graphes intelligents légers, y compris l'algorithme représentatif scGNN pour l'analyse du séquençage de l'ARN unicellulaire et l'algorithme représentatif pour l'apprentissage de la représentation moléculaire. et l'algorithme représentatif AutoGNNUQ pour la prédiction de la structure moléculaire favorisent l'application de la technologie d'apprentissage automatique des graphes dans l'IA pour la science. Dans le camp d'été de programmation GitLink, Lightweight Intelligent Graph enrichit non seulement les algorithmes et les cas d'application, mais permet également aux étudiants participants de pratiquer le développement de logiciels open source et d'autres compétences, de cultiver des talents dans l'apprentissage automatique automatique des graphes et de contribuer au développement de l'open source de mon pays. source de construction écologique.

L'équipe Zhitu est issue du Laboratoire des réseaux et des médias dirigé par le professeur Zhu Wenwu du Département d'informatique de l'Université Tsinghua. Les membres principaux comprennent le professeur adjoint Wang Xin, le boursier postdoctoral Zhang Ziwei, les doctorants Li Haoyang et Qin Yijian. , Zhang Zeyang, l'étudiant en master Guan Chaoyu et plus de dix autres personnes. Le projet a reçu un fort soutien de la Fondation nationale des sciences naturelles de Chine et du ministère de la Science et de la Technologie.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!