


Depuis qu'il a été proposé en 2017, le modèle Transformer a fait preuve d'une force sans précédent dans d'autres domaines tels que le traitement du langage naturel et la vision par ordinateur, et a déclenché des avancées technologiques telles que ChatGPT. Les gens ont également proposé diverses variantes basées sur le modèle original.
Alors que le monde universitaire et l'industrie continuent de proposer de nouveaux modèles basés sur le mécanisme d'attention Transformer, il nous est parfois difficile de résumer cette direction. Récemment, un article de synthèse de Xavier Amatriain, responsable de la stratégie produit IA chez LinkedIn, pourrait nous aider à résoudre ce problème.
Ces dernières années, des dizaines de modèles de la famille Transformer sont apparus, tous avec des noms amusants et compréhensibles. L'objectif de cet article est de fournir un catalogue et une classification relativement complets mais simples des modèles Transformer les plus populaires. De plus, cet article présente également les aspects et innovations les plus importants des modèles Transformer.
Papier "Modèles Transformer : une introduction et un catalogue" :
Lien papier :
https://arxiv.org/abs/2302.07730
GitHub : https://github.com/xamat/TransformerCatalog
Introduction : Qu'est-ce que Transformer
Transformer est un type de modèle d'apprentissage en profondeur défini par certaines fonctionnalités architecturales. Apparu pour la première fois dans le célèbre article « Attention is All you Need » publié par les chercheurs de Google en 2017 (cet article a été cité plus de 38 000 fois en seulement 5 ans) et dans les articles de blog associés. L'architecture Transformer est une instance spécifique du modèle codeur-décodeur [2] qui est devenu populaire il y a 2-3 ans. Cependant, jusqu’alors, l’attention n’était qu’un des mécanismes utilisés par ces modèles, qui reposaient principalement sur les variantes LSTM (Long Short-Term Memory) [3] et autres RNN (Recurrent Neural Network) [4]. L’idée clé de l’article de Transformers est que, comme son titre l’indique, l’attention peut être utilisée comme le seul mécanisme permettant de dériver les dépendances entre les entrées et les sorties. Discuter de tous les détails de l’architecture Transformer dépasse le cadre de ce blog. À cette fin, cet article recommande de se référer à l’article original ci-dessus ou à l’article de Transformers, qui sont tous deux très passionnants. Cela dit, cet article décrira brièvement les aspects les plus importants et ils seront également mentionnés dans la table des matières ci-dessous. Cet article commencera par le diagramme d'architecture de base de l'article original, puis développera le contenu associé.
Architecture de l'encodeur/décodeur
L'architecture universelle de l'encodeur/décodeur (voir Figure 1) se compose de deux modèles. L'encodeur prend l'entrée et la code dans un vecteur de longueur fixe. Le décodeur prend ce vecteur et le décode en une séquence de sortie. L'encodeur et le décodeur sont formés conjointement pour minimiser la vraisemblance logarithmique conditionnelle. Une fois entraîné, le codeur/décodeur peut générer une sortie à partir d’une séquence d’entrée, ou il peut évaluer la séquence d’entrée/sortie. Dans l'architecture originale du Transformer, l'encodeur et le décodeur avaient 6 couches identiques. Chaque encodeur de ces 6 couches comporte deux sous-couches : une couche d'attention multi-têtes et un simple réseau de rétroaction. Chaque sous-couche possède une connexion résiduelle et une normalisation de couche. La taille de sortie de l'encodeur est de 512. Le décodeur ajoute une troisième sous-couche, qui est une autre couche d'attention multi-têtes sur la sortie du codeur. De plus, une autre couche multi-têtes dans le décodeur est masquée.
Figure 1 : Architecture du transformateur
Figure 2 : Mécanisme d'attention
Attention
D'après la description ci-dessus, il est clair que le seul élément spécial de l'architecture du modèle est l'attention multi-têtes, cependant, comme ci-dessus Comme décrit , c’est là que réside toute la puissance du modèle. Alors, qu’est-ce que l’attention exactement ? Une fonction d'attention est un mappage entre une requête et un ensemble de paires clé-valeur vers une sortie. Le résultat est calculé comme une somme pondérée de valeurs, où le poids attribué à chaque valeur est calculé par la fonction de compatibilité de la requête avec la clé correspondante. Les transformateurs utilisent l'attention multi-têtes, qui est le calcul parallèle d'une fonction d'attention spécifique appelée attention du produit scalaire mis à l'échelle. Pour plus de détails sur le fonctionnement du mécanisme d'attention, cet article fera à nouveau référence à l'article The Illustrated Transformer, et le diagramme de l'article original sera reproduit dans la figure 2 pour comprendre l'idée principale. Les couches d'attention présentent plusieurs avantages par rapport aux réseaux récurrents et convolutifs, les deux plus importants étant leur moindre complexité de calcul et leur connectivité plus élevée, qui sont particulièrement utiles pour apprendre les dépendances à long terme dans les séquences.
À quoi servent les Transformers et pourquoi sont-ils si populaires
Le Transformer original a été conçu pour la traduction de langues, en particulier de l'anglais vers l'allemand. Cependant, comme le montre le document de recherche original, l’architecture se généralise bien à d’autres tâches linguistiques. Cette tendance particulière a rapidement attiré l’attention de la communauté des chercheurs. Au cours des mois suivants, la plupart des classements des tâches ML liées au langage ont été complètement dominés par une version de l'architecture Transformer (par exemple, le célèbre classement SQUAD, où tous les meilleurs modèles sont une collection de Transformers). L’une des principales raisons pour lesquelles les Transformers sont capables de dominer si rapidement la plupart des classements PNL est leur capacité à s’adapter rapidement à d’autres tâches, c’est-à-dire l’apprentissage par transfert. Les modèles Transformer pré-entraînés peuvent être adaptés très facilement et rapidement à des tâches pour lesquelles ils n'ont pas été formés, ce qui présente un énorme avantage. En tant que praticien du ML, vous n'avez plus besoin de former de grands modèles sur d'énormes ensembles de données. Tout ce que vous avez à faire est de réutiliser le modèle pré-entraîné dans votre tâche, peut-être simplement de le modifier légèrement avec un ensemble de données beaucoup plus petit. Une technique spécifique utilisée pour adapter un modèle pré-entraîné à différentes tâches est appelée réglage fin.
Il s'avère que les Transformers sont si adaptables à d'autres tâches que, bien qu'ils aient été développés à l'origine pour des tâches liées au langage, ils ont été rapidement adoptés pour d'autres tâches, depuis les applications visuelles ou audio et musicales, jusqu'à jouer aux échecs ou faire des mathématiques.
Bien entendu, aucune de ces applications ne serait possible sans les innombrables outils qui permettent à quiconque d’écrire facilement quelques lignes de code. Transformer peut non seulement être rapidement intégré aux principaux frameworks d’intelligence artificielle (c’est-à-dire Pytorch8 et TF9), mais des entreprises entières peuvent même être construites sur cette base. Huggingface, une startup qui a levé plus de 60 millions de dollars à ce jour, a été construite presque entièrement autour de l'idée de commercialiser la bibliothèque open source Transformer.
Enfin, il est nécessaire de parler de l'impact de GPT-3 sur Transformer aux premiers stades de sa popularité. GPT-3 est un modèle Transformer lancé par OpenAI en mai 2020 et fait suite à leurs précédents GPT et GPT-2. La société a créé beaucoup de buzz en présentant le modèle dans une prépublication, qu'elle prétendait être si puissante qu'elle ne pouvait pas le diffuser au monde. Depuis lors, le modèle a non seulement été publié, mais également commercialisé grâce à une collaboration massive entre OpenAI et Microsoft. GPT-3 prend en charge plus de 300 applications différentes et constitue un élément fondamental de la stratégie commerciale d'OpenAI (ce qui est logique pour une entreprise qui a levé plus d'un milliard de dollars de financement).
RLHF
Récemment, l'apprentissage par renforcement à partir des commentaires (ou préférences) humains (RLHF (également connu sous le nom de RLHP)) est devenu un ajout énorme à la boîte à outils de l'intelligence artificielle. Le concept a été décrit dans un rapport de 2017. article Proposé dans « Apprentissage par renforcement profond à partir des préférences humaines », il a récemment été appliqué à ChatGPT et à des agents conversationnels similaires tels que BlenderBot ou Sparrow. L'idée est simple : une fois le modèle de langage pré-entraîné, l'utilisateur peut générer différentes réponses. la conversation et laisser les humains classer les résultats. On peut utiliser ces classements (c'est-à-dire les préférences ou les commentaires) pour entraîner des récompenses dans un environnement d'apprentissage par renforcement (voir Figure 3). Les modèles de diffusion sont devenus le nouveau SOTA en matière de génération d'images, écartant apparemment les méthodes précédentes comme les GAN (Generative Adversarial Networks). Qu'est-ce qu'un modèle de diffusion ? Il s'agit d'une classe de modèles à variables latentes entraînés par inférence variationnelle. Un réseau ainsi formé apprend en fait l'espace latent représenté par ces images (voir Figure 4). Les modèles de diffusion sont liés à d'autres modèles génératifs, comme les fameux [Generative Adversarial Networks (GAN)] 16 , qui ont été remplacés dans de nombreuses applications, notamment avec les auto-encodeurs (débruitage). Certains auteurs affirment même que les modèles de diffusion ne sont qu’une instance spécifique des auto-encodeurs. Cependant, ils reconnaissent également que de petites différences modifient leur application, passant de la représentation sous-jacente de l'autoconder à la nature purement générative du modèle de diffusion.
Figure 3 : Apprentissage par renforcement avec feedback humain.
Figure 4 : L'architecture du modèle de diffusion probabiliste est extraite de « Modèles de diffusion : une étude complète des méthodes et des applications »
Les modèles présentés dans cet article incluent :
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

AI augmentant la préparation des aliments Bien qu'ils soient encore dans une utilisation naissante, les systèmes d'IA sont de plus en plus utilisés dans la préparation des aliments. Les robots dirigés AI sont utilisés dans les cuisines pour automatiser

Introduction Comprendre les espaces de noms, les lunettes et le comportement des variables dans les fonctions Python est crucial pour écrire efficacement et éviter les erreurs ou exceptions d'exécution. Dans cet article, nous plongerons dans divers ASP

Introduction Imaginez vous promener dans une galerie d'art, entourée de peintures et de sculptures vives. Maintenant, que se passe-t-il si vous pouviez poser une question à chaque pièce et obtenir une réponse significative? Vous pourriez demander: «Quelle histoire racontez-vous?

Poursuivant la cadence du produit, MediaTek ce mois-ci a fait une série d'annonces, notamment le nouveau Kompanio Ultra et Dimensity 9400. Ces produits remplissent les parties les plus traditionnelles des activités de MediaTek, qui comprennent des puces pour smartphone

# 1 Google a lancé agent2agent L'histoire: c'est lundi matin. En tant que recruteur propulsé par l'IA, vous travaillez plus intelligemment, pas plus difficile. Vous vous connectez au tableau de bord de votre entreprise sur votre téléphone. Il vous indique que trois rôles critiques ont été achetés, vérifiés et programmés pour

Je suppose que vous devez l'être. Nous semblons tous savoir que Psychobabble se compose d'un bavardage assorti qui mélange diverses terminologies psychologiques et finit souvent par être incompréhensibles ou complètement absurdes. Tout ce que vous avez à faire pour cracher

Selon une nouvelle étude publiée cette semaine. Pendant ce temps, le plastique continue de s'accumuler dans les décharges et les écosystèmes - dans le monde. Mais l'aide est en route. Une équipe d'angle

Ma récente conversation avec Andy Macmillan, PDG de la principale plate-forme d'analyse d'entreprise Alteryx, a souligné ce rôle critique mais sous-estimé dans la révolution de l'IA. Comme l'explique Macmillan, l'écart entre les données commerciales brutes et l'informat prêt à l'AI


Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Télécharger la version Mac de l'éditeur Atom
L'éditeur open source le plus populaire

ZendStudio 13.5.1 Mac
Puissant environnement de développement intégré PHP

DVWA
Damn Vulnerable Web App (DVWA) est une application Web PHP/MySQL très vulnérable. Ses principaux objectifs sont d'aider les professionnels de la sécurité à tester leurs compétences et leurs outils dans un environnement juridique, d'aider les développeurs Web à mieux comprendre le processus de sécurisation des applications Web et d'aider les enseignants/étudiants à enseigner/apprendre dans un environnement de classe. Application Web sécurité. L'objectif de DVWA est de mettre en pratique certaines des vulnérabilités Web les plus courantes via une interface simple et directe, avec différents degrés de difficulté. Veuillez noter que ce logiciel

Version Mac de WebStorm
Outils de développement JavaScript utiles

Navigateur d'examen sécurisé
Safe Exam Browser est un environnement de navigation sécurisé permettant de passer des examens en ligne en toute sécurité. Ce logiciel transforme n'importe quel ordinateur en poste de travail sécurisé. Il contrôle l'accès à n'importe quel utilitaire et empêche les étudiants d'utiliser des ressources non autorisées.