Modèle de pré-formation Text-to-SQL multitâche en deux étapes MIGA basé sur T5

De plus en plus de travaux ont prouvé que les modèles linguistiques pré-entraînés (PLM) contiennent des connaissances riches. Pour différentes tâches, l'utilisation de méthodes de formation appropriées pour tirer parti du PLM peut mieux améliorer les capacités du modèle. Dans les tâches Text-to-SQL, les générateurs traditionnels actuels sont basés sur des arbres syntaxiques et doivent être conçus pour la syntaxe SQL.

Récemment, NetEase Interactive Entertainment AI Lab s'est associé à l'Université des études étrangères du Guangdong et à l'Université de Columbia pour proposer un modèle de pré-formation multitâche en deux étapes MIGA basé sur la méthode de pré-formation du modèle de langage pré-entraîné. T5. MIGA introduit trois tâches auxiliaires dans la phase de pré-formation et les organise dans un paradigme de tâches de génération unifiée, qui peut former uniformément tous les ensembles de données Text-to-SQL en même temps, dans la phase de réglage fin, MIGA cible les erreurs dans ; plusieurs tours de dialogue Le problème de transfert est utilisé pour la perturbation SQL, ce qui améliore la robustesse de la génération de modèle.

Actuellement pour la recherche Text-to-SQL, la méthode principale est principalement le modèle encodeur-décodeur basé sur l'arbre de syntaxe SQL, qui peut garantir que les résultats générés doivent être conformes à la syntaxe SQL, mais nécessite une conception spéciale pour la syntaxe SQL. . Il y a également eu des recherches récentes sur Text-to-SQL basées sur des modèles de langage génératifs, qui peuvent facilement hériter des connaissances et des capacités de modèles de langage pré-entraînés.

Afin de réduire la dépendance aux arbres syntaxiques et de mieux exploiter les capacités des modèles de langage pré-entraînés, cette étude propose une pré-formation Text-to-SQL multitâche en deux étapes dans le cadre du pré- formation modèle T5 Modèle MIGA (MultI-tâche Ggénération frAmework).

MIGA est divisé en deux étapes de processus de formation :

• Dans la phase de pré-formation, MIGA utilise le même paradigme de pré-formation que T5, et propose en plus trois tâches auxiliaires liées au Text-to-SQL , ainsi mieux inspirer les connaissances dans des modèles de langage pré-entraînés. Cette méthode de formation peut unifier tous les ensembles de données Text-to-SQL et élargir l'échelle des données de formation ; elle peut également concevoir de manière flexible des tâches auxiliaires plus efficaces pour explorer davantage les connaissances potentielles du modèle de langage pré-entraîné.
• Dans la phase de réglage fin, MIGA cible les problèmes de transmission d'erreurs susceptibles de se produire dans les conversations à plusieurs tours et SQL. Elle perturbe le SQL historique pendant le processus de formation, rendant ainsi l'effet de génération du cycle SQL actuel plus important. écurie.

Le modèle MIGA surpasse le meilleur modèle actuel basé sur un arbre syntaxique sur deux ensembles de données publiques Text-to-SQL de dialogue multi-tours, et les recherches connexes ont été acceptées par l'AAAI 2023.

Adresse papier : https://arxiv.org/abs/2212.09278

Détails du modèle MIGA

​

Figure 1 Schéma du modèle MIGA .

Phase de pré-entraînement multitâches

Cette recherche fait principalement référence à la méthode de pré-entraînement du T5, et sur la base du modèle T5 déjà entraîné, quatre tâches de pré-entraînement sont conçues :

• Tâche principale Text-to-SQL : pour la partie jaune dans l'image ci-dessus, concevez l'invite comme "traduire le dialogue en requête système", puis utilisez des jetons spéciaux pour saisir le dialogue historique, les informations de base de données et les instructions SQL dans T5- Dans l'encodeur, laissez le décodeur afficher directement l'instruction SQL correspondante ;
• Prédiction des informations associées : la partie verte dans l'image ci-dessus, l'invite de conception est "traduire le dialogue en colonne pertinente", l'entrée de l'encodeur T5. est également cohérent avec la tâche principale, le décodeur Ensuite, vous devez générer des tableaux de données et des colonnes liés au problème actuel, afin de renforcer la compréhension du modèle Text-to-SQL
• Prédiction des opérations du cycle en cours : la partie grise dans l'image ci-dessus, l'invite de conception est "traduire le dialogue pour activer le commutateur", cette tâche est principalement conçue pour la compréhension du contexte dans plusieurs tours de dialogue. Par rapport au cycle précédent de dialogue et de SQL, le décodeur doit afficher quoi. des modifications ont été apportées au but du dialogue actuel. Par exemple, l'exemple dans la figure montre où les conditions ont été modifiées.
• Prédiction finale du dialogue : la partie bleue dans l'image ci-dessus est conçue comme "traduire le dialogue ; à l'énoncé final". Le but est de permettre au modèle de mieux comprendre le dialogue contextuel. Le décodeur doit produire l'intégralité du dialogue à plusieurs tours. , une description complète du problème correspondant au SQL au dernier moment.

Grâce à une telle conception de méthode de formation unifiée, MIGA peut être polyvalente et flexible pour gérer davantage de tâches supplémentaires liées aux tâches, et elle présente également les avantages suivants :

1. Se référer aux étapes des humains qui écrivent SQL, le texte de conversation en tâche SQL est décomposé en plusieurs sous-tâches, permettant à la tâche principale d'en tirer des leçons
2. Le format de construction des échantillons de formation est cohérent avec T5, ce qui peut maximiser le potentiel du modèle T5 pré-entraîné pour la tâche cible ;
3. Le cadre unifié permet une planification flexible de plusieurs tâches auxiliaires. Lorsqu'il est appliqué à une tâche spécifique, le modèle pré-entraîné ci-dessus doit uniquement être affiné en utilisant le même objectif de formation dans les données étiquetées de la tâche spécifique.

Au cours de la phase de pré-formation, l'étude a intégré les données de l'ensemble de données Text-to-SQL Spider et de l'ensemble de données conversationnel Text-to-SQL SparC et CoSQL pour entraîner le modèle T5.

Phase de réglage fin​

Après la phase de pré-formation, cette étude utilise simplement des tâches Text-to-SQL pour affiner davantage le modèle en fonction des données annotées de la tâche cible. Lors de la prédiction du cycle SQL actuel, cette étude fusionnera le SQL prédit du cycle précédent. Dans ce processus, afin d'essayer de surmonter le problème de transmission d'erreurs causé par plusieurs cycles de dialogue et de génération, cette étude propose un schéma de perturbation SQL. , perturbe les tours historiques de SQL dans les données d'entrée avec une probabilité α. La perturbation de l'instruction SQL échantillonne principalement le jeton correspondant avec une probabilité de β, puis effectue l'une des perturbations suivantes :

• Utilisez des colonnes dans la même table de données pour modifier ou ajouter aléatoirement des colonnes dans la partie SELECT ;
• Modifiez aléatoirement la structure dans la condition JOIN, par exemple en échangeant les positions des deux tables ;
• Modifiez toutes les colonnes de "*" et quelques autres colonnes
• Échangez "asc" et "desc" ; .

Les perturbations mentionnées ci-dessus sont les erreurs de génération SQL les plus courantes causées par la transmission d'erreurs trouvées statistiquement dans l'expérience. Par conséquent, des perturbations sont effectuées pour ces situations afin de réduire la dépendance du modèle à cet aspect.

Évaluation expérimentale

Ensemble de données d'évaluation pour les conversations multi-tours Text-to-SQL : SparC et CoSQL.

Les indicateurs d'évaluation sont :

• QM : Question Match, indiquant la proportion de SQL généré dans une seule série de questions qui correspond complètement à la sortie de l'annotation
• IM : Interaction Match, indiquant l'ensemble ; dialogue à plusieurs tours Proportion de tout le SQL généré pour une exécution complète qui correspond exactement à la sortie de l'annotation.

Dans l'expérience comparative du tableau 1, MIGA surpasse le meilleur modèle Text-to-SQL de dialogue multi-tours actuel en termes de scores IM sur les deux ensembles de données et de scores QM de CoSQL. Et par rapport au même type de solutions basées sur T5, la MIGA a amélioré respectivement la gestion de l'information de 7,0 % et la gestion de la qualité de 5,8 %.

Tableau 1 Analyse expérimentale comparative, la première partie est le modèle arborescent, et la deuxième partie est le modèle génératif basé sur la pré-entraînement.

Dans l'expérience d'ablation du tableau 2, cette étude a exploré plusieurs tâches du processus de formation en deux étapes de la MIGA et a également prouvé que ces tâches amélioreront la tâche cible à des degrés divers.

Tableau 2 Pour la tâche SparC, la suppression de chaque tâche ou donnée respectivement a réduit les indicateurs.

Dans les résultats réels de l'analyse de cas, la stabilité et l'exactitude de la génération MIGA sont meilleures que le modèle de formation basé sur T5-3B. On peut voir que MIGA est meilleur dans les opérations de connexion multi-tables et le mappage des colonnes. et des tables. Mieux que les autres modèles. Dans la question n°2 du cas n°1, le modèle T5-3B ne peut pas générer du SQL valide pour la structure JOIN relativement complexe (connexion à deux tables), ce qui conduit à des prédictions incorrectes pour la structure JOIN plus complexe (connexion à trois tables) dans la question. #3. MIGA prédit avec précision la structure JOIN et maintient bien la condition précédente t1.sex="f" . Dans le cas n°2, T5-3B confond plusieurs colonnes dans différentes tables et confond les gains avec une colonne de la table people, alors que MIGA identifie correctement cette colonne comme appartenant à la table poker_player et la lie à t1.

​

Tableau 3 Analyse de cas.

Conclusion

NetEase Interactive Entertainment AI Lab a proposé un modèle de pré-formation multitâche en deux étapes basé sur T5 pour Text-to-SQL : MIGA. Au cours de la phase de pré-formation, MIGA décompose la tâche Text-to-SQL en trois sous-tâches supplémentaires et les unifie dans un paradigme de génération séquence à séquence pour mieux motiver le modèle T5 pré-entraîné. Et un mécanisme de perturbation SQL est introduit lors de l'étape de réglage fin pour réduire l'impact de la transmission d'erreurs dans plusieurs cycles de scénarios de génération Text-to-SQL.

À l'avenir, l'équipe de recherche explorera davantage des stratégies plus efficaces pour exploiter la puissance de très grands modèles de langage, et explorera des moyens plus élégants et plus efficaces pour surmonter davantage le problème de performances réduites dues à une transmission incorrecte.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!