


Dans le domaine de la PNL, les grands modèles de langage (LLM) ont servi avec succès d'interface commune dans diverses tâches en langage naturel. Tant que nous pouvons convertir l'entrée et la sortie en texte, nous pouvons adapter l'interface basée sur LLM à une tâche. Par exemple, la tâche récapitulative récupère des documents et génère des informations récapitulatives. Ainsi, nous pouvons introduire les documents d'entrée dans un modèle de langage récapitulatif et générer un résumé.
Malgré l'application réussie du LLM dans les tâches de PNL, les chercheurs ont encore du mal à l'utiliser de manière native pour les données multimodales telles que les images et l'audio. En tant que composante fondamentale de l’intelligence, la perception multimodale est une condition nécessaire pour parvenir à une intelligence artificielle générale, tant pour l’acquisition de connaissances que pour la gestion du monde réel. Plus important encore, débloquer la saisie multimodale peut considérablement étendre l’application des modèles linguistiques dans des domaines à plus forte valeur ajoutée, tels que la robotique multimodale, l’intelligence documentaire et la robotique.
Par conséquent, l'équipe Microsoft a introduit un Multimodal Large Language Model (MLLM) - KOSMOS-1 dans l'article "Le langage n'est pas tout ce dont vous avez besoin : aligner la perception avec les modèles de langage", qui peut percevoir la modalité générale, en suivant instructions (c'est-à-dire apprentissage sans tir) et apprentissage en contexte (c'est-à-dire apprentissage en quelques coups) . L'objectif de la recherche est d'aligner la perception avec le LLM afin que le modèle puisse voir et parler. Les chercheurs ont formé KOSMOS-1 à partir de zéro selon la méthode de METALM (voir l'article « Les modèles de langage sont des interfaces à usage général »).
- Adresse papier : https://arxiv.org/pdf/2302.14045.pdf
- Adresse du projet : https://github.com/microsoft/unilm
Comme le montre la figure 1 ci-dessous, le chercheur utilise un modèle de langage basé sur Transformer comme interface générale et le connecte au module de perception. Ils ont formé le modèle sur un corpus multimodal à l’échelle du Web, qui comprend des données textuelles, des images et du texte arbitrairement entrelacés, ainsi que des paires image-légende. De plus, les chercheurs ont calibré l’enseignement intermodal en fonction des capacités en transmettant des données linguistiques pures.
Enfin, le modèle KOSMOS-1 prend en charge nativement le langage, le langage perceptuel et les tâches visuelles dans des paramètres d'apprentissage à zéro et à quelques coups, comme le montre le tableau 1 ci-dessous.
Les chercheurs montrent quelques exemples générés dans les figures 2 et 3 ci-dessous. En plus de diverses tâches en langage naturel, le modèle KOSMOS-1 est capable de gérer nativement un large éventail de tâches à forte intensité de perception, telles que le dialogue visuel, l'explication visuelle, la réponse visuelle aux questions, les sous-titres d'images, les équations mathématiques simples, l'OCR et images sans prise de vue avec descriptions Classification. Ils ont également établi un test de référence de QI basé sur les matrices progressives de Raven (RPM) pour évaluer la capacité de raisonnement non verbal de MLLM.
Ces exemples démontrent que la prise en charge native de la perception multimodale ouvre de nouvelles opportunités pour appliquer le LLM à de nouvelles tâches. De plus, par rapport au LLM, le MLLM atteint de meilleures performances de raisonnement de bon sens, ce qui indique que le transfert intermodal facilite l'acquisition de connaissances.
Le nombre de paramètres du modèle KOSMOS-1 étant de 1,6 milliard, certains internautes ont exprimé l'espoir de faire fonctionner ce grand modèle multimodal sur leurs ordinateurs.
KOSMOS-1 : un modèle de langage multimodal à grande échelle
Comme le montre la figure 1, KOSMOS-1 est un modèle de langage multimodal qui peut percevoir des modalités générales, suivre des instructions, apprendre en contexte et générer des résultats. Plus précisément, l'épine dorsale de KOSMOS-1 est un modèle de langage causal basé sur Transformer. En plus du texte, d'autres modalités peuvent également être intégrées et entrées dans le modèle. Comme le montre la figure ci-dessous, en plus du langage, il existe également des intégrations de vision, de parole, etc. Les décodeurs de transformateur servent d'interface générale pour les entrées multimodales. Une fois le modèle entraîné, KOSMOS-1 peut également être évalué sur des tâches linguistiques et des tâches multimodales dans des contextes de tir nul et de tir réduit.
Le décodeur de transformateur perçoit la modalité de manière unifiée et les informations d'entrée seront aplaties en une séquence avec des jetons spéciaux. Par exemple, signifie le début de la séquence et signifie la fin de la séquence. Les jetons spéciaux
Le module d'intégration code les jetons de texte et d'autres modalités de saisie dans des représentations vectorielles pour les jetons d'entrée, l'étude utilise une table de recherche pour les mapper dans des intégrations. Pour les modalités de signal continu (par exemple, images et audio), l'entrée peut également être représentée sous forme de codes discrets.
Après cela, l'intégration de la séquence d'entrée obtenue est transmise au décodeur basé sur Transformer. Le modèle causal traite ensuite la séquence de manière autorégressive, aboutissant au jeton suivant. En résumé, le framework MLLM peut gérer de manière flexible différents types de données tant que les entrées sont représentées sous forme de vecteurs.
Formation du modèle
Le premier est l'ensemble de données de formation. Les ensembles de données comprennent des corpus de texte, des paires image-sous-titres et des ensembles de données croisées image et texte. Plus précisément, le corpus de texte comprend The Pile et Common Crawl (CC) ; les paires image-sous-titres incluent les anglais LAION-2B, LAION-400M, COYO-700M et Conceptual Captions ; l'ensemble de données multimodales d'image et de texte provient de Common Crawl ; instantané.
Maintenant que nous avons l'ensemble de données, nous avons les paramètres d'entraînement. Le composant MLLM contient 24 couches, des dimensions cachées de 2 048, 8 192 FFN, 32 têtes d'attention et une taille de paramètre de 1,3 B. Pour permettre une meilleure convergence du modèle, la représentation de l'image est obtenue à partir du modèle CLIP ViT-L/14 pré-entraîné avec 1024 dimensions de caractéristiques. Les images sont prétraitées à une résolution de 224 × 224 pendant la formation. De plus, tous les paramètres du modèle CLIP, à l'exception de la dernière couche, sont gelés pendant la formation. Le nombre total de paramètres pour KOSMOS-1 est d’environ 1,6 milliard.
Résultats expérimentaux
Cette étude a mené une série d'expériences riches pour évaluer KOSMOS-1 : tâches linguistiques (compréhension du langage, génération de langage, classification de texte sans OCR) ; Raisonnement de bon sens ; Raisonnement non verbal (test de QI) ; Tâches perceptuelles et linguistiques (sous-titres d'images, questions et réponses visuelles, questions et réponses de pages Web (classification d'images sans plan, classification d'images sans plan avec description) ; ).
Légendes des images. Le tableau suivant montre les performances sans échantillon de différents modèles sur COCO et Flickr30k. Comparé à d'autres modèles, le KOSMOS-1 a obtenu des résultats significatifs et ses performances sont également bonnes, même si le nombre de paramètres est beaucoup plus petit que celui du Flamingo.
Le tableau suivant montre la comparaison des performances de quelques échantillons :
Questions et réponses visuelles. KOSMOS-1 a une précision et une robustesse supérieures à celles des modèles Flamingo-3B et Flamingo-9B :
Le tableau suivant montre une comparaison des performances de quelques exemples :
Test de QI. Le test de raisonnement de Raven est l'un des tests les plus couramment utilisés pour évaluer le raisonnement non verbal. La figure 4 montre un exemple.
Le tableau 6 montre les résultats de l'évaluation sur l'ensemble de données du test de QI. KOSMOS-1 est capable de percevoir des modèles conceptuels abstraits dans un environnement non verbal, puis de raisonner les éléments suivants parmi de multiples choix. À notre connaissance, c’est la première fois qu’un modèle est capable d’effectuer un tel test Raven IQ sur échantillon zéro.
Questions et réponses Web. Web Q&A vise à trouver des réponses aux questions des pages Web. Cela nécessite que le modèle comprenne à la fois la sémantique et la structure du texte. Les résultats sont les suivants :
Invites à la chaîne de pensée multimodale. Inspiré par les invites de la chaîne de réflexion, cet article a mené une expérience à cet égard. Comme le montre la figure 5, cet article décompose la tâche de perception du langage en deux étapes. Étant donné une image dans la première étape, des indices sont utilisés pour guider le modèle afin de générer une sortie qui répond aux exigences pour produire le résultat final.
Comme le montre le tableau 9, le score de l'invite de chaîne de pensée multimodale est de 72,9 points, soit 5,8 points de plus que l'invite standard :
En savoir plus à propos de l'expérience, veuillez vous référer à l'article original.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Hé là, codant ninja! Quelles tâches liées au codage avez-vous prévues pour la journée? Avant de plonger plus loin dans ce blog, je veux que vous réfléchissiez à tous vos malheurs liés au codage - les énumérez. Fait? - Let & # 8217

AI augmentant la préparation des aliments Bien qu'ils soient encore dans une utilisation naissante, les systèmes d'IA sont de plus en plus utilisés dans la préparation des aliments. Les robots dirigés AI sont utilisés dans les cuisines pour automatiser

Introduction Comprendre les espaces de noms, les lunettes et le comportement des variables dans les fonctions Python est crucial pour écrire efficacement et éviter les erreurs ou exceptions d'exécution. Dans cet article, nous plongerons dans divers ASP

Introduction Imaginez vous promener dans une galerie d'art, entourée de peintures et de sculptures vives. Maintenant, que se passe-t-il si vous pouviez poser une question à chaque pièce et obtenir une réponse significative? Vous pourriez demander: «Quelle histoire racontez-vous?

Poursuivant la cadence du produit, MediaTek ce mois-ci a fait une série d'annonces, notamment le nouveau Kompanio Ultra et Dimensity 9400. Ces produits remplissent les parties les plus traditionnelles des activités de MediaTek, qui comprennent des puces pour smartphone

# 1 Google a lancé agent2agent L'histoire: c'est lundi matin. En tant que recruteur propulsé par l'IA, vous travaillez plus intelligemment, pas plus difficile. Vous vous connectez au tableau de bord de votre entreprise sur votre téléphone. Il vous indique que trois rôles critiques ont été achetés, vérifiés et programmés pour

Je suppose que vous devez l'être. Nous semblons tous savoir que Psychobabble se compose d'un bavardage assorti qui mélange diverses terminologies psychologiques et finit souvent par être incompréhensibles ou complètement absurdes. Tout ce que vous avez à faire pour cracher

Selon une nouvelle étude publiée cette semaine. Pendant ce temps, le plastique continue de s'accumuler dans les décharges et les écosystèmes - dans le monde. Mais l'aide est en route. Une équipe d'angle


Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

mPDF
mPDF est une bibliothèque PHP qui peut générer des fichiers PDF à partir de HTML encodé en UTF-8. L'auteur original, Ian Back, a écrit mPDF pour générer des fichiers PDF « à la volée » depuis son site Web et gérer différentes langues. Il est plus lent et produit des fichiers plus volumineux lors de l'utilisation de polices Unicode que les scripts originaux comme HTML2FPDF, mais prend en charge les styles CSS, etc. et présente de nombreuses améliorations. Prend en charge presque toutes les langues, y compris RTL (arabe et hébreu) et CJK (chinois, japonais et coréen). Prend en charge les éléments imbriqués au niveau du bloc (tels que P, DIV),

Listes Sec
SecLists est le compagnon ultime du testeur de sécurité. Il s'agit d'une collection de différents types de listes fréquemment utilisées lors des évaluations de sécurité, le tout en un seul endroit. SecLists contribue à rendre les tests de sécurité plus efficaces et productifs en fournissant facilement toutes les listes dont un testeur de sécurité pourrait avoir besoin. Les types de listes incluent les noms d'utilisateur, les mots de passe, les URL, les charges utiles floues, les modèles de données sensibles, les shells Web, etc. Le testeur peut simplement extraire ce référentiel sur une nouvelle machine de test et il aura accès à tous les types de listes dont il a besoin.

Version crackée d'EditPlus en chinois
Petite taille, coloration syntaxique, ne prend pas en charge la fonction d'invite de code

SublimeText3 Linux nouvelle version
Dernière version de SublimeText3 Linux

Dreamweaver Mac
Outils de développement Web visuel