Das Team von Tsinghua Zhu Wenwu: AutoGL-light, die weltweit erste leichte Bibliothek für automatisches maschinelles Lernen für Grafiken in Open Source

Das Team von Professor Zhu Wenwu von der Tsinghua-Universität hat seit der Veröffentlichung von AutoGL im Jahr 2020 neue Fortschritte bei der Interpretierbarkeit und Generalisierbarkeit des automatischen maschinellen Lernens von Graphen erzielt, mit besonderem Schwerpunkt auf Graph Transformer und Graph Distribution Out-of-Distribution Generalization (OOD). , selbstüberwachtes Graphenlernen usw., veröffentlichte Suchbewertungs-Benchmarks für graphische neuronale Architekturen und veröffentlichte die erste Lightweight-Intelligence-Bibliothek (AutoGL-light) auf Chinas Open-Source-Innovationsdienstplattform der neuen Generation GitLink.

Intelligence Library Review

Graph ist eine allgemeine Abstraktion, die die Beziehung zwischen Daten beschreibt. Sie wird häufig in verschiedenen Forschungsbereichen verwendet und hat viele wichtige Anwendungen, wie z. B. Analyse sozialer Netzwerke, Empfehlungssysteme, Verkehrsvorhersage und andere Internetanwendungen, die Entdeckung neuer Medikamente, die Herstellung neuer Materialien und andere wissenschaftliche Anwendungen (KI für die Wissenschaft) decken viele verschiedene Bereiche ab. Das maschinelle Lernen von Graphen hat in den letzten Jahren große Aufmerksamkeit erlangt. Da sich verschiedene Diagrammdaten in Struktur, Art und Aufgaben stark unterscheiden, fehlt den bestehenden manuell entworfenen Diagrammmodellen für maschinelles Lernen die Fähigkeit, auf verschiedene Szenarien und Umgebungsveränderungen zu verallgemeinern. AutoML on Graphs ist die Spitze der Entwicklung des maschinellen Lernens von Graphen. Es zielt darauf ab, automatisch das optimale Modell des maschinellen Lernens von Graphen für bestimmte Daten und Aufgaben zu entwerfen.

Als Reaktion auf das Problem des automatischen maschinellen Lernens auf Diagrammen begann das Team von Professor Zhu Wenwu von der Tsinghua-Universität 2017 mit der Planung und veröffentlichte 2020 AutoGL – die weltweit erste Plattform und das erste Toolkit für automatisches maschinelles Lernen auf Diagrammen.

Projektadresse: https://github.com/THUMNLab/AutoGL

Die intelligente Bibliothek hat auf GitHub über tausend Sterne erhalten und Zehntausende Besucher aus mehr als 20 Ländern und Regionen angezogen und auf GitLink veröffentlicht. Die Smart-Bibliothek umfasst einen vollständigen Satz automatischer maschineller Lernprozesse für Graphen und deckt gängige automatische maschinelle Graph-Lernmethoden ab. Durch die Lösung für automatisches maschinelles Lernen von Diagrammen, AutoGL Solver, unterteilt Zhitu das automatische maschinelle Lernen von Diagrammen in fünf Kernteile: automatisches Feature-Engineering für Diagramme, Suche nach neuronaler Architekturarchitektur (NAS) für Diagramme, Hyperparameteroptimierung für Diagramme (HPO), Training von Diagrammmodellen und automatisches Lernen Integration von Graphmodellen. Die Smart Library unterstützt bereits verschiedene Arten von Diagrammaufgaben wie Knotenklassifizierung, heterogene Diagrammknotenklassifizierung, Linkvorhersage und Diagrammklassifizierung.

Neue Fortschritte in der Forschung zum automatischen maschinellen Lernen von Graphen

Angesichts der derzeitigen mangelnden Interpretierbarkeit und Generalisierbarkeit des automatischen maschinellen Lernens von Graphen hat das Zhitu-Team eine Reihe neuer Fortschritte in der Forschung zum automatischen maschinellen Lernen von Graphen erzielt.

1. Suche nach einer Graph-Out-of-Distribution-Generalization-Architektur (OOD) Durch die Anpassung einer geeigneten graphischen neuronalen Netzwerkarchitektur für jedes Diagrammbeispiel wird die Anpassungsfähigkeit der Suchmethode für die graphische neuronale Architektur zur Bewältigung von Datenverteilungsverschiebungen effektiv verbessert. Diese Arbeit wurde auf der ICML 2022 veröffentlicht, einer internationalen Spitzenkonferenz zum Thema maschinelles Lernen.

Papieradresse: https://proceedings.mlr.press/v162/qin22b/qin22b.pdf

2. Umfangreiche Suche nach Grapharchitekturen

für bestehende graphische neuronale Architekturen Durch die Bedeutung von Sampling- und Peer-Learning-Algorithmen wird eine Supernetzwerk-Trainingsmethode vorgeschlagen, die den Konsistenzengpass im Sampling-Prozess weitgehend überwindet verbessert die Effizienz der Suche nach neuronalen Graphenarchitekturen und ermöglicht es einer einzelnen Maschine erstmals, Milliarden realer Graphdaten zu verarbeiten. Diese Arbeit wurde auf der ICML 2022 veröffentlicht, einer internationalen Spitzenkonferenz zum Thema maschinelles Lernen.

Papieradresse: https://proceedings.mlr.press/v162/guan22d.html

3. Benchmark zur Bewertung der neuronalen Architektur im Diagramm

Angesichts des Mangels an einheitlichen Bewertungsstandards für die Suche nach neuronalen Graphenarchitekturen und der enormen Menge an Rechenressourcen, die im Bewertungsprozess verbraucht werden, hat das Zhitu-Team den Benchmark für die Suche nach neuronalen Graphenarchitekturen NAS-Bench-Graph, den ersten Graphen, recherchiert und vorgeschlagen Such-Benchmark für neuronale Architektur Tabellarischer Benchmark. Dieser Benchmark kann verschiedene Suchmethoden für neuronale Grapharchitekturen effizient, fair und reproduzierbar vergleichen und so die Lücke schließen, in der es keinen Benchmark für die Suche nach Graphdatenarchitekturen gibt. NAS-Bench-Graph entwarf einen Suchraum mit 26.206 verschiedenen neuronalen Graphennetzwerkarchitekturen unter Verwendung von 9 häufig verwendeten Knotenklassifizierungsgraphendaten unterschiedlicher Größe und Art und stellte vollständig trainierte Modelleffekte bereit, die in verwendet werden können. Während Reproduzierbarkeit und fairer Vergleich gewährleistet sind, Rechenressourcen werden stark reduziert. Diese Arbeit wurde auf der NeurIPS 2022 veröffentlicht, einer führenden internationalen Konferenz zum Thema maschinelles Lernen.

Projektadresse: https://github.com/THUMNLab/NAS-Bench-Graph

4. Automatischer Diagrammtransformator

Es ist schwierig, das aktuelle manuell entworfene Diagramm zu erhalten Transformer-Architektur Für das Problem der optimalen Vorhersageleistung wird ein automatisches Suchframework für die Graph-Transformer-Architektur vorgeschlagen. Durch einen einheitlichen Graph-Transformer-Suchraum und eine strukturbewusste Leistungsbewertungsstrategie wird das Problem gelöst, dass das Entwerfen des optimalen Graph-Transformers zeitaufwändig ist und schwierig, die optimale Architektur zu erhalten. Diese Arbeit wurde auf der ICLR 2023, der führenden internationalen Konferenz zum Thema maschinelles Lernen, veröffentlicht.

Papieradresse: https://openreview.net/pdf?id=GcM7qfl5zY

5. Robuste grafische Suche nach neuronaler Architektur Um das Problem zu bekämpfen, wird eine robuste Suchmethode für graphische neuronale Architekturen vorgeschlagen. Durch das Hinzufügen robuster Graphenoperatoren im Suchraum und das Vorschlagen von Robustheitsbewertungsindikatoren während des Suchprozesses wird die Fähigkeit der Suche mit graphischen neuronalen Architekturen verbessert, gegnerischen Angriffen standzuhalten. Diese Arbeit wurde auf der CVPR 2023 veröffentlicht, einer internationalen Spitzenkonferenz zum Thema Mustererkennung.

Papieradresse: https://openaccess.thecvf.com/content/CVPR2023/papers/Xie_Adversarially_Robust_Neural_Architecture_Search_for_Graph_Neural_Networks_CVPR_2023_paper.pdf

6. Suche nach neuronaler Grapharchitektur

Suche nach vorhandener neuronaler Grapharchitektur verlässt sich stark auf Labels als Indikatoren für Trainings- und Sucharchitekturen, was die Anwendung des automatischen maschinellen Lernens von Graphen in Szenarios mit Labelmangel einschränkt. Als Reaktion auf dieses Problem schlug das Zhitu-Team eine Suchmethode für selbstüberwachte neuronale Graphenarchitekturen vor, entdeckte die mögliche Beziehung zwischen den Graphenfaktoren, die die Bildung von Graphendaten steuern, und der optimalen neuronalen Architektur und übernahm eine neuartige entkoppelte selbstüberwachte neuronale Graphenarchitektur Das Suchmodell ermöglicht eine effektive Suche nach der optimalen Architektur für unbeschriftete Diagrammdaten. Diese Arbeit wurde in NeurIPS 2023, einer Top-Konferenz zum Thema maschinelles Lernen, aufgenommen. 7. Multitask-Graph-Neuronale Architektursuche Multitask-Graph Die Suchmethode für neuronale Netzwerkarchitekturen realisiert effektiv die angepasste optimale Architektur für verschiedene Graphaufgaben, indem gleichzeitig optimale Architekturen für verschiedene Graphaufgaben entworfen und Kurslernen verwendet wird, um die kollaborativen Beziehungen zwischen verschiedenen Aufgaben zu erfassen. Diese Arbeit wurde in NeurIPS 2023, einer Top-Konferenz zum Thema maschinelles Lernen, aufgenommen.

Lightweight Intelligent Graph

Basierend auf den oben genannten Forschungsfortschritten veröffentlichte das Intelligent Graph-Team AutoGL-light, das weltweit erste automatische maschinelle Lernen mit leichtgewichtigen Graphen, auf der von CCF ausgewiesenen Open-Source-Plattform GitLink Open-Source-Bibliothek . Das Gesamtarchitekturdiagramm ist in Abbildung 1 dargestellt. Die leichte Smart Map weist hauptsächlich die folgenden Merkmale auf:

Abbildung 1. Leichtes Smart Map-Framework-Diagramm

Projektadresse: https://gitlink.org.cn/THUMNLab/AutoGL-light

1. Modulentkopplung

Ein leichterer Smart Graph wird durch eine umfassendere Modulentkopplungsmethode realisiert für automatische Machine-Learning-Pipelines für verschiedene Diagramme, sodass Module in jedem Schritt des Machine-Learning-Prozesses frei hinzugefügt werden können, um den Anpassungsanforderungen der Benutzer gerecht zu werden. 2. Fähigkeit zur Selbstanpassung Im Graph-Hyperparameter-Optimierungsmodul bietet Lightweight Intelligent Graph eine Vielzahl von Hyperparameter-Optimierungsalgorithmen und Suchräumen und unterstützt Benutzer beim Erstellen eigener Suchräume durch Erben von Basisklassen. Im Suchmodul für neuronale Graphenarchitektur implementiert der leichte Smart Graph typische und fortschrittlichste Suchalgorithmen, und Benutzer können das Moduldesign von Suchräumen, Suchstrategien und Bewertungsstrategien einfach kombinieren und an ihre eigenen Bedürfnisse anpassen.

3. Breites Spektrum an Anwendungsfeldern

Die Anwendung von Lightweight Smart Graphs ist nicht auf herkömmliche grafische maschinelle Lernaufgaben beschränkt, sondern wurde auf ein breiteres Spektrum von Anwendungsfeldern ausgeweitet. Derzeit unterstützen leichtgewichtige Smart Graphs bereits KI für wissenschaftliche Anwendungen wie molekulare Graphen und Einzelzell-Omics-Daten. Lightweight Intelligent Graph hofft, in Zukunft die fortschrittlichsten grafischen Lösungen für automatisches maschinelles Lernen für Diagrammdaten in verschiedenen Bereichen anbieten zu können.

4. GitLink Programming Summer Camp

Das Team von Intelligent Map nutzt die Gelegenheit und beteiligt sich intensiv am GitLink Programming Summer Camp (GLCC), das von CCF Open Source unter der Leitung von entwickelt wird CCF China Computer Society Eine vom CCF ODC organisierte Sommer-Programmierveranstaltung für Studenten im ganzen Land. Die beiden Projekte des Zhitu-Teams, „GraphNAS Algorithm Reproduktion“ und „Anwendungsfälle im Bereich der Wissenschaft des automatischen Lernens von Graphen“, zogen Studenten und Doktoranden von mehr als zehn inländischen Universitäten zur Anmeldung an.

Während des Sommercamps kommunizierte das Zhitu-Team aktiv mit den teilnehmenden Schülern und der Arbeitsfortschritt übertraf die Erwartungen. Unter anderem hat das GraphNAS-Algorithmus-Replikationsprojekt die oben erwähnte verallgemeinerte Architektursuche außerhalb der Graphverteilung (ICML'22), die groß angelegte Grapharchitektursuche (ICML'22) und den automatischen Graphtransformator (ICLR'23) erfolgreich im Leichtgewicht implementiert intelligente Diagramme), wodurch die Flexibilität und die unabhängigen Anpassungsmöglichkeiten des leichtgewichtigen Think Tanks effektiv überprüft werden.

Das wissenschaftliche Feldanwendungsprojekt für automatisches maschinelles Lernen von Graphen implementiert graphbasierte Algorithmen zur Verarbeitung biologischer Informationen auf leichten intelligenten Graphen, einschließlich des repräsentativen Algorithmus scGNN für die Analyse der Einzelzell-RNA-Sequenzierung und des repräsentativen Algorithmus für das Lernen molekularer Darstellungen und der repräsentative Algorithmus AutoGNNUQ zur Vorhersage der Molekülstruktur fördern die Anwendung der automatischen Graph-Machine-Learning-Technologie in der KI für die Wissenschaft. Im GitLink Programming Summer Camp bereicherten leichtgewichtige Smart Graphen nicht nur Algorithmen und Anwendungsfälle, sondern ermöglichten den teilnehmenden Studenten auch, Open-Source-Softwareentwicklung und andere Fähigkeiten zu üben, Talente im automatischen maschinellen Lernen von Graphen zu fördern und zur Entwicklung der Open-Source-Technologie meines Landes beizutragen Quelle ökologischer Bauweise.

Das Zhitu-Team stammt aus dem Netzwerk- und Medienlabor unter der Leitung von Professor Zhu Wenwu vom Fachbereich Informatik der Tsinghua-Universität. Zu den Kernmitgliedern gehören Assistenzprofessor Wang Xin, Postdoktorand Zhang Ziwei, Doktoranden Li Haoyang und Qin Yijian , Zhang Zeyang, Meisterschüler Guan Chaoyu und mehr als zehn weitere Personen. Das Projekt erhielt starke Unterstützung von der National Natural Science Foundation of China und dem Ministerium für Wissenschaft und Technologie.

Das obige ist der detaillierte Inhalt vonDas Team von Tsinghua Zhu Wenwu: AutoGL-light, die weltweit erste leichte Bibliothek für automatisches maschinelles Lernen für Grafiken in Open Source. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!