


Depuis qu'il a été proposé en 2017, le modèle Transformer a fait preuve d'une force sans précédent dans d'autres domaines tels que le traitement du langage naturel et la vision par ordinateur, et a déclenché des avancées technologiques telles que ChatGPT. Les gens ont également proposé diverses variantes basées sur le modèle original.
Alors que le monde universitaire et l'industrie continuent de proposer de nouveaux modèles basés sur le mécanisme d'attention Transformer, il nous est parfois difficile de résumer cette direction. Récemment, un article de synthèse de Xavier Amatriain, responsable de la stratégie produit IA chez LinkedIn, pourrait nous aider à résoudre ce problème.
Ces dernières années, des dizaines de modèles de la famille Transformer sont apparus, tous avec des noms amusants et compréhensibles. L'objectif de cet article est de fournir un catalogue et une classification relativement complets mais simples des modèles Transformer les plus populaires. De plus, cet article présente également les aspects et innovations les plus importants des modèles Transformer.
Papier "Modèles Transformer : une introduction et un catalogue" :
Lien papier :
https://arxiv.org/abs/2302.07730
GitHub : https://github.com/xamat/TransformerCatalog
Introduction : Qu'est-ce que Transformer
Transformer est un type de modèle d'apprentissage en profondeur défini par certaines fonctionnalités architecturales. Apparu pour la première fois dans le célèbre article « Attention is All you Need » publié par les chercheurs de Google en 2017 (cet article a été cité plus de 38 000 fois en seulement 5 ans) et dans les articles de blog associés. L'architecture Transformer est une instance spécifique du modèle codeur-décodeur [2] qui est devenu populaire il y a 2-3 ans. Cependant, jusqu’alors, l’attention n’était qu’un des mécanismes utilisés par ces modèles, qui reposaient principalement sur les variantes LSTM (Long Short-Term Memory) [3] et autres RNN (Recurrent Neural Network) [4]. L’idée clé de l’article de Transformers est que, comme son titre l’indique, l’attention peut être utilisée comme le seul mécanisme permettant de dériver les dépendances entre les entrées et les sorties. Discuter de tous les détails de l’architecture Transformer dépasse le cadre de ce blog. À cette fin, cet article recommande de se référer à l’article original ci-dessus ou à l’article de Transformers, qui sont tous deux très passionnants. Cela dit, cet article décrira brièvement les aspects les plus importants et ils seront également mentionnés dans la table des matières ci-dessous. Cet article commencera par le diagramme d'architecture de base de l'article original, puis développera le contenu associé.
Architecture de l'encodeur/décodeur
L'architecture universelle de l'encodeur/décodeur (voir Figure 1) se compose de deux modèles. L'encodeur prend l'entrée et la code dans un vecteur de longueur fixe. Le décodeur prend ce vecteur et le décode en une séquence de sortie. L'encodeur et le décodeur sont formés conjointement pour minimiser la vraisemblance logarithmique conditionnelle. Une fois entraîné, le codeur/décodeur peut générer une sortie à partir d’une séquence d’entrée, ou il peut évaluer la séquence d’entrée/sortie. Dans l'architecture originale du Transformer, l'encodeur et le décodeur avaient 6 couches identiques. Chaque encodeur de ces 6 couches comporte deux sous-couches : une couche d'attention multi-têtes et un simple réseau de rétroaction. Chaque sous-couche possède une connexion résiduelle et une normalisation de couche. La taille de sortie de l'encodeur est de 512. Le décodeur ajoute une troisième sous-couche, qui est une autre couche d'attention multi-têtes sur la sortie du codeur. De plus, une autre couche multi-têtes dans le décodeur est masquée.
Figure 1 : Architecture du transformateur
Figure 2 : Mécanisme d'attention
Attention
D'après la description ci-dessus, il est clair que le seul élément spécial de l'architecture du modèle est l'attention multi-têtes, cependant, comme ci-dessus Comme décrit , c’est là que réside toute la puissance du modèle. Alors, qu’est-ce que l’attention exactement ? Une fonction d'attention est un mappage entre une requête et un ensemble de paires clé-valeur vers une sortie. Le résultat est calculé comme une somme pondérée de valeurs, où le poids attribué à chaque valeur est calculé par la fonction de compatibilité de la requête avec la clé correspondante. Les transformateurs utilisent l'attention multi-têtes, qui est le calcul parallèle d'une fonction d'attention spécifique appelée attention du produit scalaire mis à l'échelle. Pour plus de détails sur le fonctionnement du mécanisme d'attention, cet article fera à nouveau référence à l'article The Illustrated Transformer, et le diagramme de l'article original sera reproduit dans la figure 2 pour comprendre l'idée principale. Les couches d'attention présentent plusieurs avantages par rapport aux réseaux récurrents et convolutifs, les deux plus importants étant leur moindre complexité de calcul et leur connectivité plus élevée, qui sont particulièrement utiles pour apprendre les dépendances à long terme dans les séquences.
À quoi servent les Transformers et pourquoi sont-ils si populaires
Le Transformer original a été conçu pour la traduction de langues, en particulier de l'anglais vers l'allemand. Cependant, comme le montre le document de recherche original, l’architecture se généralise bien à d’autres tâches linguistiques. Cette tendance particulière a rapidement attiré l’attention de la communauté des chercheurs. Au cours des mois suivants, la plupart des classements des tâches ML liées au langage ont été complètement dominés par une version de l'architecture Transformer (par exemple, le célèbre classement SQUAD, où tous les meilleurs modèles sont une collection de Transformers). L’une des principales raisons pour lesquelles les Transformers sont capables de dominer si rapidement la plupart des classements PNL est leur capacité à s’adapter rapidement à d’autres tâches, c’est-à-dire l’apprentissage par transfert. Les modèles Transformer pré-entraînés peuvent être adaptés très facilement et rapidement à des tâches pour lesquelles ils n'ont pas été formés, ce qui présente un énorme avantage. En tant que praticien du ML, vous n'avez plus besoin de former de grands modèles sur d'énormes ensembles de données. Tout ce que vous avez à faire est de réutiliser le modèle pré-entraîné dans votre tâche, peut-être simplement de le modifier légèrement avec un ensemble de données beaucoup plus petit. Une technique spécifique utilisée pour adapter un modèle pré-entraîné à différentes tâches est appelée réglage fin.
Il s'avère que les Transformers sont si adaptables à d'autres tâches que, bien qu'ils aient été développés à l'origine pour des tâches liées au langage, ils ont été rapidement adoptés pour d'autres tâches, depuis les applications visuelles ou audio et musicales, jusqu'à jouer aux échecs ou faire des mathématiques.
Bien entendu, aucune de ces applications ne serait possible sans les innombrables outils qui permettent à quiconque d’écrire facilement quelques lignes de code. Transformer peut non seulement être rapidement intégré aux principaux frameworks d’intelligence artificielle (c’est-à-dire Pytorch8 et TF9), mais des entreprises entières peuvent même être construites sur cette base. Huggingface, une startup qui a levé plus de 60 millions de dollars à ce jour, a été construite presque entièrement autour de l'idée de commercialiser la bibliothèque open source Transformer.
Enfin, il est nécessaire de parler de l'impact de GPT-3 sur Transformer aux premiers stades de sa popularité. GPT-3 est un modèle Transformer lancé par OpenAI en mai 2020 et fait suite à leurs précédents GPT et GPT-2. La société a créé beaucoup de buzz en présentant le modèle dans une prépublication, qu'elle prétendait être si puissante qu'elle ne pouvait pas le diffuser au monde. Depuis lors, le modèle a non seulement été publié, mais également commercialisé grâce à une collaboration massive entre OpenAI et Microsoft. GPT-3 prend en charge plus de 300 applications différentes et constitue un élément fondamental de la stratégie commerciale d'OpenAI (ce qui est logique pour une entreprise qui a levé plus d'un milliard de dollars de financement).
RLHF
Récemment, l'apprentissage par renforcement à partir des commentaires (ou préférences) humains (RLHF (également connu sous le nom de RLHP)) est devenu un ajout énorme à la boîte à outils de l'intelligence artificielle. Le concept a été décrit dans un rapport de 2017. article Proposé dans « Apprentissage par renforcement profond à partir des préférences humaines », il a récemment été appliqué à ChatGPT et à des agents conversationnels similaires tels que BlenderBot ou Sparrow. L'idée est simple : une fois le modèle de langage pré-entraîné, l'utilisateur peut générer différentes réponses. la conversation et laisser les humains classer les résultats. On peut utiliser ces classements (c'est-à-dire les préférences ou les commentaires) pour entraîner des récompenses dans un environnement d'apprentissage par renforcement (voir Figure 3). Les modèles de diffusion sont devenus le nouveau SOTA en matière de génération d'images, écartant apparemment les méthodes précédentes comme les GAN (Generative Adversarial Networks). Qu'est-ce qu'un modèle de diffusion ? Il s'agit d'une classe de modèles à variables latentes entraînés par inférence variationnelle. Un réseau ainsi formé apprend en fait l'espace latent représenté par ces images (voir Figure 4). Les modèles de diffusion sont liés à d'autres modèles génératifs, comme les fameux [Generative Adversarial Networks (GAN)] 16 , qui ont été remplacés dans de nombreuses applications, notamment avec les auto-encodeurs (débruitage). Certains auteurs affirment même que les modèles de diffusion ne sont qu’une instance spécifique des auto-encodeurs. Cependant, ils reconnaissent également que de petites différences modifient leur application, passant de la représentation sous-jacente de l'autoconder à la nature purement générative du modèle de diffusion.
Figure 3 : Apprentissage par renforcement avec feedback humain.
Figure 4 : L'architecture du modèle de diffusion probabiliste est extraite de « Modèles de diffusion : une étude complète des méthodes et des applications »
Les modèles présentés dans cet article incluent :
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Le terme «main-d'œuvre prêt pour l'IA» est fréquemment utilisé, mais qu'est-ce que cela signifie vraiment dans l'industrie de la chaîne d'approvisionnement? Selon Abe Eshkenazi, PDG de l'Association for Supply Chain Management (ASCM), il signifie des professionnels capables de critique

La révolution de l'IA décentralisée prend tranquillement de l'ampleur. Ce vendredi à Austin, au Texas, le Sommet de fin de partie Bittensor marque un moment pivot, en transition de l'IA décentralisée (DEAI) de la théorie à l'application pratique. Contrairement à la publicité fastueuse

L'IA de l'entreprise fait face à des défis d'intégration des données L'application de l'IA de l'entreprise est confrontée à un défi majeur: la construction de systèmes qui peuvent maintenir la précision et la pratique en apprenant continuellement les données commerciales. Les microservices NEMO résolvent ce problème en créant ce que NVIDIA décrit comme "Data Flywheel", permettant aux systèmes d'IA de rester pertinents par une exposition continue aux informations de l'entreprise et à l'interaction des utilisateurs. Cette boîte à outils nouvellement lancée contient cinq microservices clés: NEMO Customizer gère le réglage fin des modèles de grands langues avec un débit de formation plus élevé. L'évaluateur NEMO fournit une évaluation simplifiée des modèles d'IA pour les repères personnalisés. NEMO Guar-Rails met en œuvre des contrôles de sécurité pour maintenir la conformité et la pertinence

AI: L'avenir de l'art et du design L'intelligence artificielle (IA) modifie le domaine de l'art et de la conception de manière sans précédent, et son impact ne se limite plus aux amateurs, mais affectant plus profondément les professionnels. Les schémas d'œuvres d'art et de conception générés par l'IA remplacent rapidement les images et les concepteurs de matériaux traditionnels dans de nombreuses activités de conception transactionnelles telles que la publicité, la génération d'images des médias sociaux et la conception Web. Cependant, les artistes et designers professionnels trouvent également la valeur pratique de l'IA. Ils utilisent l'IA comme outil auxiliaire pour explorer de nouvelles possibilités esthétiques, mélanger différents styles et créer de nouveaux effets visuels. L'IA aide les artistes et les concepteurs à automatiser les tâches répétitives, à proposer différents éléments de conception et à fournir une contribution créative. L'IA prend en charge le transfert de style, qui doit appliquer un style d'image

Zoom, initialement connu pour sa plate-forme de vidéoconférence, dirige une révolution en milieu de travail avec son utilisation innovante de l'IA agentique. Une conversation récente avec le CTO de Zoom, XD Huang, a révélé la vision ambitieuse de l'entreprise. Définition de l'IA agentique Huang D

L'IA va-t-elle révolutionner l'éducation? Cette question provoque une réflexion sérieuse entre les éducateurs et les parties prenantes. L'intégration de l'IA dans l'éducation présente à la fois des opportunités et des défis. Comme le note Matthew Lynch de The Tech Edvocate, Universit

Le développement de la recherche scientifique et de la technologie aux États-Unis peut faire face à des défis, peut-être en raison de coupes budgétaires. Selon la nature, le nombre de scientifiques américains postulant pour des emplois à l'étranger a augmenté de 32% de janvier à mars 2025 par rapport à la même période en 2024. Un sondage précédent a montré que 75% des chercheurs interrogés envisageaient de rechercher des emplois en Europe et au Canada. Des centaines de subventions NIH et NSF ont été licenciées au cours des derniers mois, avec les nouvelles subventions du NIH d'environ 2,3 milliards de dollars cette année, une baisse de près d'un tiers. Le projet de budget divulgué montre que l'administration Trump envisage de réduire fortement les budgets pour les institutions scientifiques, avec une réduction possible allant jusqu'à 50%. La tourmente dans le domaine de la recherche fondamentale a également affecté l'un des principaux avantages des États-Unis: attirer des talents à l'étranger. 35

OpenAI dévoile la puissante série GPT-4.1: une famille de trois modèles de langage avancé conçus pour des applications réelles. Ce saut significatif en avant offre des temps de réponse plus rapides, une compréhension améliorée et des coûts considérablement réduits par rapport à T


Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Article chaud

Outils chauds

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version anglaise
Recommandé : version Win, prend en charge les invites de code !

mPDF
mPDF est une bibliothèque PHP qui peut générer des fichiers PDF à partir de HTML encodé en UTF-8. L'auteur original, Ian Back, a écrit mPDF pour générer des fichiers PDF « à la volée » depuis son site Web et gérer différentes langues. Il est plus lent et produit des fichiers plus volumineux lors de l'utilisation de polices Unicode que les scripts originaux comme HTML2FPDF, mais prend en charge les styles CSS, etc. et présente de nombreuses améliorations. Prend en charge presque toutes les langues, y compris RTL (arabe et hébreu) et CJK (chinois, japonais et coréen). Prend en charge les éléments imbriqués au niveau du bloc (tels que P, DIV),

Version crackée d'EditPlus en chinois
Petite taille, coloration syntaxique, ne prend pas en charge la fonction d'invite de code

Adaptateur de serveur SAP NetWeaver pour Eclipse
Intégrez Eclipse au serveur d'applications SAP NetWeaver.
