Pourquoi l'apprentissage en contexte, piloté par GPT, fonctionne-t-il ? Le modèle effectue une descente de pente en secret

À la suite du BERT, les chercheurs ont remarqué le potentiel des modèles de pré-formation à grande échelle, et différentes tâches de pré-formation, architectures de modèles, stratégies de formation, etc. ont été proposées. Cependant, les modèles de type BERT présentent généralement deux inconvénients majeurs : l’un est une dépendance excessive à l’égard des données étiquetées, l’autre est un ajustement excessif.

Plus précisément, les modèles de langage actuels ont tendance à avoir un cadre en deux étapes, c'est-à-dire la pré-formation + le réglage fin des tâches en aval. Cependant, un grand nombre d'échantillons sont nécessaires pendant le processus de réglage fin pour les tâches en aval, sinon, l'effet sera très médiocre. Cependant, l'étiquetage des données coûte cher. Les données étiquetées sont également limitées et le modèle ne peut s'adapter qu'à la distribution des données d'entraînement. Cependant, s'il y a moins de données, il est facile de provoquer un surajustement, ce qui réduira la capacité de généralisation du modèle.

En tant que pionnier des grands modèles, les modèles de langage pré-entraînés à grande échelle, en particulier GPT-3, ont montré des capacités ICL (In-Context Learning) surprenantes. Contrairement au réglage fin, qui nécessite des mises à jour supplémentaires des paramètres, ICL ne nécessite que quelques paires de démonstration « entrée-étiquette », et le modèle peut prédire les étiquettes même pour les étiquettes d'entrée invisibles. Dans de nombreuses tâches en aval, un grand modèle GPT peut atteindre d'assez bonnes performances, dépassant même certains petits modèles avec un réglage fin supervisé.

Pourquoi ICL fonctionne si bien ? Dans un article de plus de 70 pages « Les modèles de langage sont des apprenants peu nombreux » d'OpenAI, ils ont exploré ICL dans le but de permettre à GPT-3 d'utiliser moins de données de domaine et sans amende- réglage pour résoudre le problème.

Comme le montre la figure ci-dessous, ICL comprend trois catégories : L'apprentissage en quelques étapes, qui permet la saisie de plusieurs exemples et d'une description de tâche ; l'apprentissage en une seule fois, qui permet uniquement la saisie d'un exemple et d'une description de tâche ; Apprentissage sans tir, aucun exemple n'est autorisé, une seule description de tâche est autorisée. Les résultats montrent qu'ICL ne nécessite pas de rétropropagation et n'a besoin que de placer un petit nombre d'échantillons étiquetés dans le contexte du texte d'entrée pour inciter GPT-3 à générer des réponses.

Apprentissage en contexte de GPT-3

Les expériences prouvent que GPT-3 fonctionne très bien sous Few-shot :

Pourquoi GPT puis-je étudier en contexte ?

Bien qu'ICL ait obtenu un grand succès en termes de performances, son mécanisme de fonctionnement reste un problème ouvert à étudier. Afin de mieux comprendre le fonctionnement de l'ICL, nous présentons ensuite comment une étude de l'Université de Pékin, de l'Université Tsinghua et d'autres institutions l'explique.

• Adresse papier : https://arxiv.org/pdf/2212.10559v2.pdf
• Adresse du projet : https://github.com/microsoft/LMOps

Pour résumer avec les mots d'un internaute, c'est-à-dire : "Ce travail montre que GPT apprend naturellement à utiliser l'optimisation interne pour effectuer certaines exécutions. La recherche fournit également des preuves empiriques pour prouver que l'apprentissage en contexte et le réglage précis explicite sont efficace dans de nombreux "Pour mieux comprendre le fonctionnement d'ICL, cette étude interprète le modèle de langage comme un méta-optimiseur, interprète ICL comme un processus de méta-optimisation et comprend ICL comme un réglage implicite, tente d'établir un lien entre GPT- basé sur ICL et réglage fin. Théoriquement, l'étude a révélé que l'attention de Transformer présente une forme de double optimisation basée sur la descente de gradient.

Sur cette base, cette étude propose une nouvelle perspective pour expliquer l'ICL : GPT génère d'abord des méta-gradients basés sur des exemples de démonstration, puis applique ces méta-gradients au GPT d'origine pour construire un modèle ICL.

Comme le montre la figure 1, ICL et le réglage fin explicite partagent une double forme d'optimisation basée sur la descente de gradient. La seule différence est que l'ICL produit des méta-gradients par calcul direct, tandis que le réglage fin calcule les gradients par rétropropagation. Par conséquent, il est raisonnable de comprendre l'ICL comme une sorte de réglage implicite.

ICR effectue un réglage fin implicite # 🎜🎜#Cette étude analyse d'abord qualitativement l'attention du transformateur sous la forme d'une attention linéaire détendue pour découvrir la double forme entre celle-ci et l'optimisation basée sur la descente de gradient. L’étude compare ensuite l’ICL au réglage fin explicite et établit un lien entre ces deux formes d’optimisation. Sur la base de ces résultats théoriques, ils proposent de comprendre l’ICL comme un réglage fin implicite.

Tout d'abord, cette étude considère Transforme attention comme une méta-optimisation et interprète ICL comme un processus de méta-optimisation : (1) Un modèle de langage pré-entraîné basé sur Transformer en tant que processus de méta-optimisation ; (2) générer des méta-gradients basés sur des instances via le calcul direct ; (3) appliquer des méta-gradients au modèle de langage d'origine en prêtant attention à la construction d'ICL.

Ensuite est une comparaison de l'ICL et du réglage fin. Dans divers contextes, l'étude a révélé que les ICL partagent de nombreuses propriétés avec un réglage fin. Ils organisent ces points communs sous les quatre aspects suivants : les deux effectuent une descente de gradient ; les mêmes informations de formation ; le même ordre causal des exemples de formation et les deux tournent autour de l'attention ;

Compte tenu de toutes ces propriétés communes entre l'ICL et le réglage fin, cette étude estime qu'il est raisonnable de comprendre l'ICL comme un réglage fin implicite. Dans le reste de cet article, l'étude compare empiriquement l'ICL et le réglage fin sous de multiples aspects pour fournir des résultats quantitatifs qui soutiennent cette compréhension.

Résultats expérimentaux

L'étude a mené une série d'expériences pour comparer de manière exhaustive le comportement de l'ICL et un réglage précis explicite basé sur des tâches réelles, dans six Sur une tâche de classification, ils ont comparé les performances de GPT pré-entraînés dans ICL et les paramètres de réglage fin en ce qui concerne la prédiction, le rendement de l'attention et le score d'attention. Comme prévu, l’ICL est très similaire au réglage précis explicite en termes de prédiction, de représentation et de niveaux d’attention. Ces résultats soutiennent fortement cette plausibilité : ICL effectue un réglage fin implicite.

De plus, inspirée par la compréhension de la méta-optimisation, cette recherche a conçu une attention basée sur l'élan par analogie avec l'algorithme de descente de gradient basé sur l'élan. Il surpasse systématiquement les performances de l’attention vanille.

Le tableau 2 montre la précision de la validation dans les paramètres ZSL (Zero-Shot Learning), ICL et de réglage fin (FT) sur six ensembles de données de classification. L'ICL et le réglage fin apportent des améliorations considérables par rapport à ZSL, ce qui signifie que les optimisations apportées facilitent ces tâches en aval. En outre, l’étude a révélé que l’ICL fonctionnait mieux que le réglage fin dans des scénarios comportant peu de prises de vue.

Les scores Rec2FTP de 2 modèles GPT sur 6 ensembles de données sont présentés dans le tableau 3. En moyenne, ICL peut prédire correctement 87,64 % des exemples de ZSL qu'un réglage fin peut corriger. Ces résultats indiquent qu'au niveau de la prédiction, l'ICL peut couvrir la plupart des comportements de réglage fin corrects.

Le tableau 3 montre également les scores SimAOU moyens pour des exemples et des couches de 2 modèles GPT sur 6 ensembles de données. À titre de comparaison, l'étude fournit également une métrique de base (Random SimAOU) qui calcule la similarité entre les mises à jour ICL et les mises à jour générées aléatoirement. Comme le montre le tableau, les mises à jour ICL ressemblent davantage à des mises à jour affinées qu'à des mises à jour aléatoires, ce qui signifie qu'au niveau de la représentation, ICL a tendance à modifier les résultats d'attention dans le sens de changements affinés.

Enfin, le tableau 3 montre également les scores SimAM moyens pour des exemples et des couches de 2 modèles GPT sur 6 ensembles de données. En tant que métrique de base pour SimAM, ZSL SimAM calcule la similarité entre les pondérations d'attention ICL et les pondérations d'attention ZSL. En comparant les deux mesures, l'étude a révélé qu'ICL est plus enclin à générer des pondérations d'attention similaires au réglage fin que ZSL. Toujours au niveau du comportement attentionnel, cette étude démontre que l’ICL se comporte comme des coups de coude.

Pour explorer plus en profondeur les similitudes entre l'ICL et le réglage fin, cette étude a comparé les scores SimAOU et SimAM de différentes couches. En échantillonnant au hasard 50 exemples de validation de chaque ensemble de données, des boîtes à moustaches SimAOU et SimAM ont été dessinées comme le montrent respectivement les figures 2 et 3 ci-dessous.

On peut constater à partir de la figure que SimAOU et SimAM fluctuent dans les couches inférieures et ont tendance à être plus stables dans les couches supérieures. Ce phénomène illustre que la méta-optimisation effectuée par ICL a un effet d'accumulation vers l'avant et que, à mesure que l'accumulation augmente, ICL se comporte davantage comme un réglage fin de niveau supérieur.

Résumé

Résumé Plus précisément, cet article vise à expliquer le mécanisme de fonctionnement d'ICL basé sur GPT. Théoriquement, cette étude découvre la double forme d’ICL et propose de comprendre l’ICL comme un processus de méta-optimisation. De plus, cette étude établit un lien entre l’ICL et des paramètres de réglage précis spécifiques, concluant qu’il est raisonnable de considérer l’ICL comme un réglage fin implicite. Pour faciliter la compréhension du réglage fin implicite effectué par ICL, cette étude compare de manière exhaustive le comportement d'ICL et le réglage fin basé sur les tâches du monde réel. Il s'avère que l'ICL est similaire à un réglage précis explicite.

De plus, inspirée par la méta-optimisation, l'étude a conçu une attention basée sur l'élan pour obtenir des améliorations constantes des performances. Les auteurs espèrent que cette étude pourra aider davantage de personnes à mieux comprendre les applications ICL et la conception de modèles.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!