Intégrez efficacement les modèles de langage, les réseaux de neurones graphiques et le cadre de formation de graphes de texte GLEM pour obtenir un nouveau SOTA.

• Unités principales : Laboratoire d'intelligence artificielle d'apprentissage algorithmique de Montréal (Mila), Microsoft Research Asia, etc. Adresse du code : https://github.com/andyjzhao/glem
• Introduction
Figure 1 : (a) Graphique de texte (b) Réseau neuronal graphique (c) Modèle de langage

Graph est une structure de données universelle qui modélise la relation structurelle entre les nœuds. Dans la vraie vie, de nombreux nœuds contiennent des fonctionnalités de texte enrichi, et ce graphe est appelé graphe attribué au texte [2]. Par exemple, le réseau de citations d'articles contient le texte de l'article et la relation de citation entre les articles ; le réseau social contient la description textuelle de l'utilisateur et la relation interactive directe de l'utilisateur. Le modèle d'apprentissage de représentation sur des graphiques de texte peut être appliqué à des tâches telles que la classification de nœuds et la prédiction de liens, et présente une grande valeur d'application.

Le graphique textuel contient deux aspects de l'information : les informations textuelles des nœuds et les informations sur la structure graphique entre les nœuds. La modélisation des graphiques de texte traditionnels peut être divisée en deux perspectives : la modélisation de texte et la modélisation de graphiques. Parmi eux, la méthode de modélisation de texte (illustré dans la figure 1.b) utilise généralement un modèle de langage (LM) basé sur un transformateur pour obtenir la représentation textuelle d'un seul nœud et prédire la tâche cible (comme indiqué) ; sur la figure 1.c), un réseau neuronal graphique (GNN) est généralement utilisé pour modéliser l'interaction entre les caractéristiques des nœuds et prédire les tâches cibles via un mécanisme de propagation de messages.

Cependant, les deux modèles ne peuvent modéliser respectivement que des structures de texte et de graphique dans des graphiques de texte : les modèles de langage traditionnels ne peuvent pas prendre en compte directement les informations structurelles, et les réseaux de neurones graphiques ne peuvent pas modéliser directement les informations textuelles originales. Afin de modéliser simultanément les structures textuelles et graphiques, les chercheurs tentent d’intégrer des modèles de langage et des réseaux de neurones graphiques et de mettre à jour simultanément les paramètres des deux modèles. Cependant, les travaux existants [2, 3] ne peuvent pas modéliser un grand nombre de textes voisins en même temps, ont une faible évolutivité et ne peuvent pas être appliqués à de grands graphiques de texte.

Framework GLEM

Afin d'intégrer plus efficacement les réseaux de neurones graphiques et les modèles de langage, cet article propose le framework G

raph et

Language Learning by E

xpectation

M

aximization (

GLEM) . Le framework GLEM est basé sur l'algorithme Variational EM et apprend en alternance les réseaux de neurones graphiques et les modèles de langage, obtenant ainsi une bonne évolutivité. Figure 2 : Framework GLEM

Plus précisément, en prenant la tâche de classification des nœuds comme exemple, à l'étape

E , GLEM est formé sur la base des étiquettes réelles et des pseudo-étiquettes prédites par le modèle de langage du réseau neuronal graphique  ; À l'étape M , GLEM entraîne un réseau neuronal graphique basé sur les étiquettes réelles et les pseudo-étiquettes

prédites par le modèle de langage. De cette manière, le cadre GLEM exploite efficacement les informations textuelles locales et les informations sur les interactions structurelles globales. Les réseaux de neurones graphiques (GLEM-GNN) et les modèles de langage (GLEM-LM) formés via le framework GLEM peuvent être utilisés pour prédire les étiquettes de nœuds.

ExpérienceLa partie expérimentale de l'article aborde principalement le cadre GLEM sous les aspects suivants :

• Efficacité : le modèle GLEM peut intégrer efficacement des réseaux de neurones graphiques et des modèles de langage, améliorant considérablement les deux modèles. Le framework GLEM a obtenu la première place dans trois tâches de classification de nœuds de graphiques de texte à l'OGB.
• Évolutivité : en entraînant alternativement des réseaux de neurones graphiques et des modèles de langage, le framework GLEM peut entraîner simultanément de grands modèles de langage et des GNN profonds.
• Capacité de raisonnement inductif sans structure : le modèle GNN traditionnel fonctionne mal face à de nouveaux nœuds sans structure graphique. En revanche, GLEM-LM permet une inférence efficace en utilisant uniquement des fonctionnalités textuelles (sans structure graphique).
• Convergence du modèle : GLEM utilise l'algorithme d'itération EM, et peut converger en une itération EM sur certains ensembles de données.

Figure 3 : Le framework GLEM a remporté la première place sur OGBN-arxiv, produits, articles100 millions de données

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!