Articles très appréciés par les évaluateurs lors de la phase d'évaluation à l'aveugle de l'ICLR : s'agira-t-il d'une innovation majeure dans l'architecture Transformer ?

Malgré de nombreuses réalisations notables, les progrès pratiques dans la formation des réseaux de neurones profonds (DNN) ont été largement indépendants des bases théoriques. La plupart des DNN modernes à succès reposent sur des arrangements spécifiques de connexions résiduelles et de couches de normalisation, mais les principes généraux d'utilisation de ces composants dans les nouvelles architectures sont encore inconnus et leur rôle dans les architectures existantes n'est pas encore entièrement compris.

Les architectures résiduelles sont les plus populaires et les plus réussies, développées à l'origine dans le contexte des réseaux de neurones convolutifs (CNN), qui ont ensuite donné naissance à l'architecture de transformateur omniprésente des réseaux d'attention. L'une des raisons du succès des architectures résiduelles est une meilleure propagation du signal par rapport aux DNN ordinaires, où la propagation du signal fait référence à la transmission d'informations géométriques à travers les couches DNN et est représentée par une fonction de noyau.

Récemment, l'utilisation des principes de propagation du signal pour former des DNN plus profonds sans l'implication de connexions résiduelles et/ou de couches de normalisation dans les architectures résiduelles est devenue un domaine d'intérêt communautaire. Les raisons sont doubles : premièrement, cela valide l'hypothèse de propagation du signal pour l'efficacité des architectures résiduelles, élucidant ainsi la compréhension de l'interprétabilité du DNN ; deuxièmement, cela peut permettre des principes généraux et des méthodes pour l'entraînement du DNN au-delà du paradigme résiduel ;

Pour les CNN, les travaux de Xiao et al. (2018) montrent qu'une propagation améliorée du signal grâce à une meilleure initialisation peut entraîner efficacement les réseaux profonds ordinaires, bien qu'à une vitesse nettement plus lente que les réseaux résiduels. Les travaux de Martens et al. (2021) ont proposé le Deep Kernel Shaping (DKS), qui utilise la transformation de la fonction d'activation pour contrôler la propagation du signal, et utilise des optimiseurs puissants de second ordre tels que K-FAC pour mettre en œuvre la formation des réseaux ordinaires et des réseaux résiduels. sur ImageNet, les vitesses sont égales. Les travaux de Zhang et al. (2022) étendent le DKS à une classe plus large de fonctions d'activation et atteignent une quasi-égalité en généralisation.

La quantité clé à analyser dans la propagation du signal est le noyau du temps d'initialisation du DNN, ou plus précisément, le noyau approximatif sous la limite de largeur infinie. Pour les perceptrons multicouches (MLP) et les CNN utilisant l'initialisation delta, le noyau peut être écrit comme une simple récursion de couche contenant uniquement des fonctions 2D pour faciliter une analyse simple. L'évolution du noyau des transformateurs multicouches est plus complexe, de sorte que les méthodes existantes telles que DKS ne conviennent pas aux transformateurs ni même à toute architecture contenant des couches d'auto-attention.

Dans MLP, la propagation du signal est jugée en examinant le comportement des noyaux (unidimensionnels), tandis que la propagation du signal dans les transformateurs peut être jugée en examinant l'évolution des matrices de noyau (de haute dimension) dans les couches du réseau.

Cette recherche doit éviter une situation dans laquelle les éléments diagonaux grandissent ou rétrécissent rapidement avec l'augmentation de la profondeur, ce qui est lié à des normes d'activation incontrôlées et peut conduire à une perte de saturation ou à des problèmes numériques. Il est nécessaire d’éviter l’effondrement des rangs pour permettre la formation des transformateurs profonds, tandis que la question de savoir si des transformateurs profonds sans résidus peuvent être formés reste une question ouverte.

Cet article de l'étape d'examen à l'aveugle de l'ICLR 2023 résout ce problème et démontre pour la première fois qu'il est possible de former avec succès des transformateurs profonds sans connexions résiduelles ni couches de normalisation. À cette fin, ils étudient les problèmes de propagation du signal et d’effondrement des rangs dans les transformateurs profonds sans résidus et en dérivent trois méthodes pour les éviter. Plus précisément, l'approche utilise une combinaison d'initialisation de paramètres, de matrices de biais et de redimensionnement dépendant de la position, et met en évidence plusieurs complexités spécifiques à la propagation du signal dans les transformateurs, notamment les interactions avec le codage de position et le masquage causal. Les chercheurs ont démontré empiriquement que leur méthode peut générer des transformateurs profonds et sans résidus pouvant être entraînés.

Dans la partie expérimentale, sur les ensembles de données WikiText-103 et C4, les chercheurs ont démontré qu'en utilisant leur méthode principale, l'attention exponentielle de préservation du signal (E-SPA), peut être prolongée d'environ cinq fois le temps d'entraînement. perte du transformateur étalon comparable à celle du transformateur résiduel dans le papier. De plus, en combinant cette méthode avec des connexions résiduelles, les chercheurs ont également montré que les transformateurs sans couches de normalisation peuvent atteindre des vitesses d'entraînement comparables à celles des transformateurs standards.

Adresse papier : https://openreview.net/pdf?id=NPrsUQgMjKK

Pour cet article, l'ingénieur en chef de Google AI, Rohan Anil, estime qu'il s'agit d'un pas en avant pour l'architecture Transformer. . Un grand pas, ou une amélioration fondamentale.

Construire un transformateur profond qui peut être entraîné sans raccourcis

Jusqu'à présent, la seule stratégie pour corriger l'effondrement du rang du transformateur repose sur des connexions résiduelles, qui ignorent les problèmes inhérents à l'entraînement des couches d'auto-attention. En revanche, cette étude aborde directement cette question. Mieux comprendre d’abord la propagation du signal à travers les couches d’attention, puis modifier en fonction des informations obtenues pour obtenir une transmission fidèle du signal dans des transformateurs profonds, qui peuvent être entraînés avec ou sans connexions résiduelles.

Plus précisément, d'abord, l'étude a mené un réglage simple d'un transformateur vanille profond avec seulement une attention particulière, puis ils ont supposé que le transformateur avait un réglage à une tête (h = 1) ou un réglage à plusieurs têtes, où le la matrice d’attention A ne change pas entre les têtes. Si le bloc l ≤ L a une matrice d'attention A_l lors de l'initialisation, la représentation du bloc final est

peut être orthogonale lors de l'initialisation.

Sous les hypothèses ci-dessus, si est utilisé pour représenter la matrice du noyau d'entrée à positions croisées, après quelques traitements de simplification, la formule suivante peut être obtenue : De cette formule simplifiée (profondeur attention uniquement à la matrice du noyau du transformateur), trois exigences pour (A_l)_l peuvent être déterminées :

doit bien fonctionner dans chaque bloc, en évitant les situations dégénérées telles que l'effondrement des rangs et l'explosion/disparition des valeurs diagonales ; doit être ∀l non négatif au niveau des éléments ;

A_l doit être un ∀l triangulaire inférieur pour être compatible avec l'attention du masque causal.

Dans les sections suivantes 3.1 et 3.2, la recherche se concentre sur la recherche d'une matrice d'attention qui répond aux besoins ci-dessus, et propose 3 méthodes E-SPA, U-SPA et Value-Skipinit, chaque méthode La matrice d'attention utilisée le contrôle du transformateur permet une propagation fidèle du signal même à de grandes profondeurs. De plus, la section 3.3 montre comment modifier l'attention softmax pour implémenter ces matrices d'attention.

1. Dans la figure ci-dessous, l'étude a vérifié les deux schémas SPA proposés, U-SPA et E-SPA. Les résultats montrent qu'elle peut éviter avec succès l'attention des transformateurs vanille, même lorsque le réseau est en proie à un phénomène d'effondrement profond. .

2. Expériences

   WikiText-103 Baseline : Premièrement, cette étude vérifie que les transformateurs profonds standards sans connexions résiduelles ne peuvent pas être entraînés, même s'ils ont des couches de normalisation (LN) et des activations transformées, mais notre méthode peut résoudre cette question. Comme le montre la figure 2, il est clairement visible que la suppression de la connexion résiduelle du transformateur standard le rend impossible à entraîner et la perte d'entraînement se stabilise à environ 7,5. Comme le montre la figure 1, le transformateur standard souffre d'un effondrement de rang.

   

   En revanche, la méthode E-SPA proposée dans cette étude surpasse l'U-SPA et Value-Skipinit. Cependant, le transformateur par défaut avec résidu et LN conserve toujours l'avantage de la vitesse d'entraînement par rapport à notre méthode sans résidu.

   Dans le tableau 1, l'étude évalue l'impact des différentes fonctions d'activation dans le bloc MLP en utilisant la méthode proposée, ainsi que l'utilisation de LN dans le transformateur sans résidu. On peut voir qu'à la profondeur 36, notre méthode obtient de bonnes performances d'entraînement pour une série d'activations: GeLU transformé par DKS, Leaky ReLU transformé par TAT et GeLU non transformé, mais pas Sigmoïde non transformé. Il a également été constaté expérimentalement que la normalisation des couches est relativement peu importante pour la vitesse d'entraînement et peut même être préjudiciable à l'activation transformée lors de l'utilisation de SPA, qui dispose déjà de mécanismes intégrés pour contrôler les spécifications d'activation.

   

   Dans la figure 3, nous voyons qu'une façon de faire correspondre la perte d'entraînement par défaut du transformateur sans nécessiter plus d'itérations consiste à utiliser une connexion résiduelle normalisée.

   

   Le tableau 2 montre que l'E-SPA avec des résidus normalisés et du LN surpasse le transformateur PreLN par défaut.

   

   La figure 4(a) ci-dessous montre que l'E-SPA surpasse encore une fois les autres méthodes ; 4(b) montre que l'écart de perte d'entraînement peut être éliminé en augmentant simplement le temps d'entraînement.

   

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!