recherche
MaisonPériphériques technologiquesIACité 38 000 fois en cinq ans, l'univers Transformer a évolué ainsi

Depuis qu'il a été proposé en 2017, le modèle Transformer a fait preuve d'une force sans précédent dans d'autres domaines tels que le traitement du langage naturel et la vision par ordinateur, et a déclenché des avancées technologiques telles que ChatGPT. Les gens ont également proposé diverses variantes basées sur le modèle original.

Alors que le monde universitaire et l'industrie continuent de proposer de nouveaux modèles basés sur le mécanisme d'attention Transformer, il nous est parfois difficile de résumer cette direction. Récemment, un article de synthèse de Xavier Amatriain, responsable de la stratégie produit IA chez LinkedIn, pourrait nous aider à résoudre ce problème.

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Ces dernières années, des dizaines de modèles de la famille Transformer sont apparus, tous avec des noms amusants et compréhensibles. L'objectif de cet article est de fournir un catalogue et une classification relativement complets mais simples des modèles Transformer les plus populaires. De plus, cet article présente également les aspects et innovations les plus importants des modèles Transformer.

Papier "Modèles Transformer : une introduction et un catalogue" :

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Lien papier :

​https://arxiv.org/abs/2302.07730​

GitHub : https://github.com/xamat/TransformerCatalog

Introduction : Qu'est-ce que Transformer

Transformer est un type de modèle d'apprentissage en profondeur défini par certaines fonctionnalités architecturales. Apparu pour la première fois dans le célèbre article « Attention is All you Need » publié par les chercheurs de Google en 2017 (cet article a été cité plus de 38 000 fois en seulement 5 ans) et dans les articles de blog associés. L'architecture Transformer est une instance spécifique du modèle codeur-décodeur [2] qui est devenu populaire il y a 2-3 ans. Cependant, jusqu’alors, l’attention n’était qu’un des mécanismes utilisés par ces modèles, qui reposaient principalement sur les variantes LSTM (Long Short-Term Memory) [3] et autres RNN (Recurrent Neural Network) [4]. L’idée clé de l’article de Transformers est que, comme son titre l’indique, l’attention peut être utilisée comme le seul mécanisme permettant de dériver les dépendances entre les entrées et les sorties. Discuter de tous les détails de l’architecture Transformer dépasse le cadre de ce blog. À cette fin, cet article recommande de se référer à l’article original ci-dessus ou à l’article de Transformers, qui sont tous deux très passionnants. Cela dit, cet article décrira brièvement les aspects les plus importants et ils seront également mentionnés dans la table des matières ci-dessous. Cet article commencera par le diagramme d'architecture de base de l'article original, puis développera le contenu associé.

Architecture de l'encodeur/décodeur

L'architecture universelle de l'encodeur/décodeur (voir Figure 1) se compose de deux modèles. L'encodeur prend l'entrée et la code dans un vecteur de longueur fixe. Le décodeur prend ce vecteur et le décode en une séquence de sortie. L'encodeur et le décodeur sont formés conjointement pour minimiser la vraisemblance logarithmique conditionnelle. Une fois entraîné, le codeur/décodeur peut générer une sortie à partir d’une séquence d’entrée, ou il peut évaluer la séquence d’entrée/sortie. Dans l'architecture originale du Transformer, l'encodeur et le décodeur avaient 6 couches identiques. Chaque encodeur de ces 6 couches comporte deux sous-couches : une couche d'attention multi-têtes et un simple réseau de rétroaction. Chaque sous-couche possède une connexion résiduelle et une normalisation de couche. La taille de sortie de l'encodeur est de 512. Le décodeur ajoute une troisième sous-couche, qui est une autre couche d'attention multi-têtes sur la sortie du codeur. De plus, une autre couche multi-têtes dans le décodeur est masquée.

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Figure 1 : Architecture du transformateur

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Figure 2 : Mécanisme d'attention

Attention

D'après la description ci-dessus, il est clair que le seul élément spécial de l'architecture du modèle est l'attention multi-têtes, cependant, comme ci-dessus Comme décrit , c’est là que réside toute la puissance du modèle. Alors, qu’est-ce que l’attention exactement ? Une fonction d'attention est un mappage entre une requête et un ensemble de paires clé-valeur vers une sortie. Le résultat est calculé comme une somme pondérée de valeurs, où le poids attribué à chaque valeur est calculé par la fonction de compatibilité de la requête avec la clé correspondante. Les transformateurs utilisent l'attention multi-têtes, qui est le calcul parallèle d'une fonction d'attention spécifique appelée attention du produit scalaire mis à l'échelle. Pour plus de détails sur le fonctionnement du mécanisme d'attention, cet article fera à nouveau référence à l'article The Illustrated Transformer, et le diagramme de l'article original sera reproduit dans la figure 2 pour comprendre l'idée principale. Les couches d'attention présentent plusieurs avantages par rapport aux réseaux récurrents et convolutifs, les deux plus importants étant leur moindre complexité de calcul et leur connectivité plus élevée, qui sont particulièrement utiles pour apprendre les dépendances à long terme dans les séquences.

À quoi servent les Transformers et pourquoi sont-ils si populaires

Le Transformer original a été conçu pour la traduction de langues, en particulier de l'anglais vers l'allemand. Cependant, comme le montre le document de recherche original, l’architecture se généralise bien à d’autres tâches linguistiques. Cette tendance particulière a rapidement attiré l’attention de la communauté des chercheurs. Au cours des mois suivants, la plupart des classements des tâches ML liées au langage ont été complètement dominés par une version de l'architecture Transformer (par exemple, le célèbre classement SQUAD, où tous les meilleurs modèles sont une collection de Transformers). L’une des principales raisons pour lesquelles les Transformers sont capables de dominer si rapidement la plupart des classements PNL est leur capacité à s’adapter rapidement à d’autres tâches, c’est-à-dire l’apprentissage par transfert. Les modèles Transformer pré-entraînés peuvent être adaptés très facilement et rapidement à des tâches pour lesquelles ils n'ont pas été formés, ce qui présente un énorme avantage. En tant que praticien du ML, vous n'avez plus besoin de former de grands modèles sur d'énormes ensembles de données. Tout ce que vous avez à faire est de réutiliser le modèle pré-entraîné dans votre tâche, peut-être simplement de le modifier légèrement avec un ensemble de données beaucoup plus petit. Une technique spécifique utilisée pour adapter un modèle pré-entraîné à différentes tâches est appelée réglage fin.

Il s'avère que les Transformers sont si adaptables à d'autres tâches que, bien qu'ils aient été développés à l'origine pour des tâches liées au langage, ils ont été rapidement adoptés pour d'autres tâches, depuis les applications visuelles ou audio et musicales, jusqu'à jouer aux échecs ou faire des mathématiques.

Bien entendu, aucune de ces applications ne serait possible sans les innombrables outils qui permettent à quiconque d’écrire facilement quelques lignes de code. Transformer peut non seulement être rapidement intégré aux principaux frameworks d’intelligence artificielle (c’est-à-dire Pytorch8 et TF9), mais des entreprises entières peuvent même être construites sur cette base. Huggingface, une startup qui a levé plus de 60 millions de dollars à ce jour, a été construite presque entièrement autour de l'idée de commercialiser la bibliothèque open source Transformer.

Enfin, il est nécessaire de parler de l'impact de GPT-3 sur Transformer aux premiers stades de sa popularité. GPT-3 est un modèle Transformer lancé par OpenAI en mai 2020 et fait suite à leurs précédents GPT et GPT-2. La société a créé beaucoup de buzz en présentant le modèle dans une prépublication, qu'elle prétendait être si puissante qu'elle ne pouvait pas le diffuser au monde. Depuis lors, le modèle a non seulement été publié, mais également commercialisé grâce à une collaboration massive entre OpenAI et Microsoft. GPT-3 prend en charge plus de 300 applications différentes et constitue un élément fondamental de la stratégie commerciale d'OpenAI (ce qui est logique pour une entreprise qui a levé plus d'un milliard de dollars de financement).

RLHF

Récemment, l'apprentissage par renforcement à partir des commentaires (ou préférences) humains (RLHF (également connu sous le nom de RLHP)) est devenu un ajout énorme à la boîte à outils de l'intelligence artificielle. Le concept a été décrit dans un rapport de 2017. article Proposé dans « Apprentissage par renforcement profond à partir des préférences humaines », il a récemment été appliqué à ChatGPT et à des agents conversationnels similaires tels que BlenderBot ou Sparrow. L'idée est simple : une fois le modèle de langage pré-entraîné, l'utilisateur peut générer différentes réponses. la conversation et laisser les humains classer les résultats. On peut utiliser ces classements (c'est-à-dire les préférences ou les commentaires) pour entraîner des récompenses dans un environnement d'apprentissage par renforcement (voir Figure 3).

Les modèles de diffusion sont devenus le nouveau SOTA en matière de génération d'images, écartant apparemment les méthodes précédentes comme les GAN (Generative Adversarial Networks). Qu'est-ce qu'un modèle de diffusion ? Il s'agit d'une classe de modèles à variables latentes entraînés par inférence variationnelle. Un réseau ainsi formé apprend en fait l'espace latent représenté par ces images (voir Figure 4).

Les modèles de diffusion sont liés à d'autres modèles génératifs, comme les fameux [Generative Adversarial Networks (GAN)] 16 , qui ont été remplacés dans de nombreuses applications, notamment avec les auto-encodeurs (débruitage). Certains auteurs affirment même que les modèles de diffusion ne sont qu’une instance spécifique des auto-encodeurs. Cependant, ils reconnaissent également que de petites différences modifient leur application, passant de la représentation sous-jacente de l'autoconder à la nature purement générative du modèle de diffusion.

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Figure 3 : Apprentissage par renforcement avec feedback humain.

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Figure 4 : L'architecture du modèle de diffusion probabiliste est extraite de « Modèles de diffusion : une étude complète des méthodes et des applications »

Les modèles présentés dans cet article incluent :

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Cité 38 000 fois en cinq ans, lunivers Transformer a évolué ainsi

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer
Cuisiner l'innovation: comment l'intelligence artificielle transforme les services alimentairesCuisiner l'innovation: comment l'intelligence artificielle transforme les services alimentairesApr 12, 2025 pm 12:09 PM

AI augmentant la préparation des aliments Bien qu'ils soient encore dans une utilisation naissante, les systèmes d'IA sont de plus en plus utilisés dans la préparation des aliments. Les robots dirigés AI sont utilisés dans les cuisines pour automatiser

Guide complet sur les espaces de noms Python et les lunettes variablesGuide complet sur les espaces de noms Python et les lunettes variablesApr 12, 2025 pm 12:00 PM

Introduction Comprendre les espaces de noms, les lunettes et le comportement des variables dans les fonctions Python est crucial pour écrire efficacement et éviter les erreurs ou exceptions d'exécution. Dans cet article, nous plongerons dans divers ASP

Un guide complet des modèles de langue de vision (VLMS)Un guide complet des modèles de langue de vision (VLMS)Apr 12, 2025 am 11:58 AM

Introduction Imaginez vous promener dans une galerie d'art, entourée de peintures et de sculptures vives. Maintenant, que se passe-t-il si vous pouviez poser une question à chaque pièce et obtenir une réponse significative? Vous pourriez demander: «Quelle histoire racontez-vous?

MediaTek augmente la gamme premium avec Kompanio Ultra et Dimensity 9400MediaTek augmente la gamme premium avec Kompanio Ultra et Dimensity 9400Apr 12, 2025 am 11:52 AM

Poursuivant la cadence du produit, MediaTek ce mois-ci a fait une série d'annonces, notamment le nouveau Kompanio Ultra et Dimensity 9400. Ces produits remplissent les parties les plus traditionnelles des activités de MediaTek, qui comprennent des puces pour smartphone

Cette semaine dans l'IA: Walmart établit des tendances de la mode avant qu'ils ne se produisent jamaisCette semaine dans l'IA: Walmart établit des tendances de la mode avant qu'ils ne se produisent jamaisApr 12, 2025 am 11:51 AM

# 1 Google a lancé agent2agent L'histoire: c'est lundi matin. En tant que recruteur propulsé par l'IA, vous travaillez plus intelligemment, pas plus difficile. Vous vous connectez au tableau de bord de votre entreprise sur votre téléphone. Il vous indique que trois rôles critiques ont été achetés, vérifiés et programmés pour

L'IA générative rencontre le psychobabbleL'IA générative rencontre le psychobabbleApr 12, 2025 am 11:50 AM

Je suppose que vous devez l'être. Nous semblons tous savoir que Psychobabble se compose d'un bavardage assorti qui mélange diverses terminologies psychologiques et finit souvent par être incompréhensibles ou complètement absurdes. Tout ce que vous avez à faire pour cracher

Le prototype: les scientifiques transforment le papier en plastiqueLe prototype: les scientifiques transforment le papier en plastiqueApr 12, 2025 am 11:49 AM

Selon une nouvelle étude publiée cette semaine. Pendant ce temps, le plastique continue de s'accumuler dans les décharges et les écosystèmes - dans le monde. Mais l'aide est en route. Une équipe d'angle

La montée en puissance de l'analyste de l'IA: pourquoi cela pourrait être le travail le plus important de la révolution de l'IALa montée en puissance de l'analyste de l'IA: pourquoi cela pourrait être le travail le plus important de la révolution de l'IAApr 12, 2025 am 11:41 AM

Ma récente conversation avec Andy Macmillan, PDG de la principale plate-forme d'analyse d'entreprise Alteryx, a souligné ce rôle critique mais sous-estimé dans la révolution de l'IA. Comme l'explique Macmillan, l'écart entre les données commerciales brutes et l'informat prêt à l'AI

See all articles

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
4 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

Listes Sec

Listes Sec

SecLists est le compagnon ultime du testeur de sécurité. Il s'agit d'une collection de différents types de listes fréquemment utilisées lors des évaluations de sécurité, le tout en un seul endroit. SecLists contribue à rendre les tests de sécurité plus efficaces et productifs en fournissant facilement toutes les listes dont un testeur de sécurité pourrait avoir besoin. Les types de listes incluent les noms d'utilisateur, les mots de passe, les URL, les charges utiles floues, les modèles de données sensibles, les shells Web, etc. Le testeur peut simplement extraire ce référentiel sur une nouvelle machine de test et il aura accès à tous les types de listes dont il a besoin.

PhpStorm version Mac

PhpStorm version Mac

Le dernier (2018.2.1) outil de développement intégré PHP professionnel

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

Puissant environnement de développement intégré PHP

SublimeText3 Linux nouvelle version

SublimeText3 Linux nouvelle version

Dernière version de SublimeText3 Linux