recherche
MaisonPériphériques technologiquesIABLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »

Le modèle multimodal de langage étendu (MLLM) s'appuie sur la riche réserve de connaissances de LLM et sur ses puissantes capacités de raisonnement et de généralisation pour résoudre des problèmes multimodaux. Certaines capacités étonnantes ont émergé, telles que regarder des images et écrire, regarder des images et écrire du code.

Mais il est difficile de refléter pleinement les performances du MLLM sur la base de ces seuls exemples, et il manque encore une évaluation complète du MLLM.

À cette fin, Tencent Youtu Lab et l'Université de Xiamen ont mené pour la première fois une évaluation quantitative complète de 12 modèles MLLM open source existants sur le nouveau référentiel d'évaluation MM et ont publié 16 classements, incluant à la fois la perception et la cognition. et 14 sous-listes :

BLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »

Lien papier : https://arxiv.org/pdf/2306.13394.pdf

Lien du projet : https://github.com/BradyFU/Awesome -Multimodal- Large-Language-Models/tree/Evaluation

Les méthodes d'évaluation quantitative existantes du MLLM sont principalement divisées en trois catégories, mais elles présentent toutes certaines limites qui rendent difficile de refléter pleinement leurs performances.

La première catégorie de méthodes est évaluée sur des ensembles de données publics traditionnels, tels que les ensembles de données de légende d'image et de réponse visuelle aux questions (VQA).

Mais d'une part, ces ensembles de données traditionnels peuvent ne pas être en mesure de refléter les nouvelles capacités émergentes du MLLM. D'autre part, étant donné que les ensembles de formation à l'ère des grands modèles ne sont plus unifiés, il est difficile de le faire. garantir que ces ensembles de données d’évaluation n’ont pas été formés par d’autres MLLM.

La deuxième méthode consiste à collecter de nouvelles données pour une évaluation ouverte, mais ces données ne sont pas publiques [1] ou leur nombre est trop petit (seulement 50 images) [2].

La troisième méthode se concentre sur un aspect spécifique du MLLM, comme l'hallucination d'objet [3] ou la robustesse contradictoire [4], et ne peut pas être entièrement évaluée.

Il existe un besoin urgent d'un référentiel d'évaluation complet pour correspondre au développement rapide du MLLM. Les chercheurs estiment qu'un référentiel d'évaluation complet et universel devrait avoir les caractéristiques suivantes :

(1) Il devrait couvrir autant de champ d'application que possible, y compris la perception et les capacités cognitives. Le premier fait référence à l’identification des objets, notamment leur existence, leur quantité, leur emplacement et leur couleur. Ce dernier fait référence à l'intégration d'informations sensorielles et de connaissances dans le LLM pour effectuer un raisonnement plus complexe. Le premier est la base du second.

(2) Les données ou annotations doivent éviter autant que possible d'utiliser des ensembles de données publiques existantes afin de réduire le risque de fuite de données.

(3) Les instructions doivent être aussi concises que possible et cohérentes avec les habitudes cognitives humaines. Différentes conceptions d'instructions peuvent grandement affecter le résultat du modèle, mais tous les modèles sont évalués selon des instructions unifiées et concises pour garantir l'équité. Un bon modèle MLLM doit avoir la capacité de généraliser à des instructions aussi concises pour éviter de tomber dans une ingénierie rapide.

(4) La sortie de MLLM sous cette instruction concise doit être intuitive et pratique pour les statistiques quantitatives. Les réponses ouvertes du MLLM posent de grands défis aux statistiques quantitatives. Les méthodes existantes ont tendance à utiliser le GPT ou la notation manuelle, mais peuvent se heurter à des problèmes d'inexactitude et de subjectivité.

BLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »

Figure 1. Exemple de référence d'évaluation MME. Chaque image correspond à deux questions, et les réponses sont respectivement Oui[O] et Non[N]. La question et « Veuillez répondre par oui ou par non » forment ensemble la commande.

Sur la base des raisons ci-dessus, un nouveau référentiel d'évaluation MLLM MME a été construit, qui présente simultanément les quatre caractéristiques ci-dessus :

1 MME évalue à la fois la perception et les capacités cognitives. En plus de l'OCR, les capacités de détection incluent la reconnaissance de cibles à gros grain et à grain fin. Le premier identifie la présence, la quantité, l’emplacement et la couleur des objets. Ce dernier identifie les affiches de films, les célébrités, les scènes, les monuments et les œuvres d'art. Les capacités cognitives comprennent le raisonnement de bon sens, les calculs numériques, la traduction de texte et le raisonnement codé. Le nombre total de sous-tâches atteint 14, comme le montre la figure 1.

2. Toutes les paires commande-réponse dans MME sont construites manuellement. Pour les quelques ensembles de données accessibles au public utilisés, seules leurs images ont été utilisées sans s'appuyer sur leurs annotations originales. Dans le même temps, les chercheurs font également de leur mieux pour collecter des données grâce à la photographie manuelle et à la génération d’images.

3. Les instructions MME sont conçues pour être aussi concises que possible afin d'éviter l'impact de Prompt Engineering sur la sortie du modèle. Les chercheurs réitèrent qu'un bon MLLM devrait généraliser à des instructions aussi concises et fréquemment utilisées, ce qui est juste pour tous les modèles. Les instructions pour chaque sous-tâche sont présentées dans la figure 1.

4. Grâce à la conception de la commande « Veuillez répondre par oui ou par non », des statistiques quantitatives peuvent être facilement réalisées sur la base de la sortie « Oui » ou « Non » du modèle. Cette méthode peut garantir à la fois précision et objectivité. temps. Il convient de noter que les chercheurs ont également essayé de concevoir des instructions pour les questions à choix multiples, mais ont constaté qu'il est encore difficile de suivre des instructions aussi complexes dans le MLLM actuel.

Les chercheurs ont évalué un total de 12 modèles MLLM avancés, dont BLIP-2 [5], LLaVA [6], MiniGPT-4 [7], mPLUG-Owl [2], LLaMA-Adapter-v2 [8] ] , Otter [9], Multimodal-GPT [10], InstructBLIP [11], VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] et LaVIN [15].

Parmi eux, il existe trois indicateurs statistiques, dont Accuracy, Accuracy+ et Score. Pour chaque tâche, la précision est basée sur les statistiques des questions, la précision+ est basée sur les statistiques des images (les deux questions correspondant aux images doivent recevoir une réponse correcte) et le score est la somme de la précision et de la précision+.

Le score total de perception est la somme des scores de 10 sous-tâches perceptuelles, et le score total de cognition est la somme des scores de 4 tâches cognitives. Voir le lien du projet pour plus de détails.

La comparaison des tests de 12 modèles sur 14 sous-tâches est présentée dans la figure 2 :

BLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »

Figure 2. Comparaison de 12 modèles sur 14 sous-tâches. Le score total pour chaque sous-tâche est de 200 points.

Au total, 16 listes, comprenant la liste globale des catégories de perception et de cognition et les listes de 14 sous-tâches, ont également été publiées. Les deux listes globales sont présentées respectivement dans les figures 3 et 4. Il convient de noter que BLIP-2 et InstructBLIP restent parmi les trois premiers des deux listes.

BLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »Photos

Figure 3. Liste totale des tâches de perception

BLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »

Figure 4. Liste totale des tâches cognitives

BLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »

Figure 5. Toutes les listes

Dans En outre, les chercheurs ont également résumé certains problèmes courants exposés par le modèle MLLM dans les expériences, comme le montre la figure 6, dans l'espoir de fournir des conseils pour l'optimisation ultérieure du modèle.

BLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »Photos

Figure 6. Problèmes courants exposés par MLLM. [O]/[N] signifie que la vraie réponse est Oui/Non. [R] est la réponse générée par MLLM.

Le premier problème est de ne pas suivre les instructions.

Bien qu'une conception d'instructions très concise ait été adoptée, il existe toujours des MLLM qui sont libres de répondre aux questions plutôt que de suivre les instructions.

Comme le montre la première ligne de la figure 6, l'instruction indique "Veuillez répondre par oui ou par non", mais MLLM n'a donné qu'une réponse déclarative. Si « Oui » ou « Non » n'apparaît pas au début de la réponse, la réponse est jugée incorrecte. Un bon MLLM, surtout après avoir affiné les instructions, devrait être capable de généraliser à des instructions aussi simples.

Le deuxième problème est le manque de perception.

Comme le montre la deuxième rangée de la figure 6, MLLM a identifié de manière incorrecte le nombre de bananes dans la première image et le nombre dans la deuxième image, ce qui a entraîné des réponses erronées. Les chercheurs ont également remarqué que les performances perceptuelles étaient facilement affectées par les changements d’instructions, puisque deux instructions pour la même image qui différaient d’un seul mot entraînaient des résultats perceptuels complètement différents.

Le troisième problème est le manque de capacité de raisonnement.

Comme le montre la troisième ligne de la figure 6, il ressort du texte rouge que MLLM sait déjà que la première image n'est pas un espace de bureau, mais a quand même donné une réponse incorrecte « Oui ».

De même, sur la deuxième image, MLLM a calculé le résultat arithmétique correct, mais a finalement également donné la mauvaise réponse. L’ajout d’une invite de chaîne de pensée, telle que « Réfléchissons étape par étape », peut apporter de meilleurs résultats. Dans l’attente de recherches plus approfondies dans ce domaine.

La quatrième question est la vision objet suite à la commande. Comme le montre la quatrième ligne de la figure 6, lorsque l'instruction contient un objet qui n'existe pas dans l'image, MLLM imaginera que l'objet existe et donnera finalement une réponse « Oui ».

Cette approche consistant à toujours répondre « Oui » entraîne une précision proche de 50 % et une précision+ proche de 0. Cela démontre l’importance de supprimer les hallucinations cibles et nécessite également une réflexion plus approfondie sur la fiabilité des réponses générées par MLLM.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer
Comment construire votre assistant d'IA personnel avec HuggingFace SmollmComment construire votre assistant d'IA personnel avec HuggingFace SmollmApr 18, 2025 am 11:52 AM

Exploiter la puissance de l'IA sur disvise: construire une CLI de chatbot personnelle Dans un passé récent, le concept d'un assistant d'IA personnel semblait être une science-fiction. Imaginez Alex, un passionné de technologie, rêvant d'un compagnon d'IA intelligent et local - celui qui ne dépend pas

L'IA pour la santé mentale est attentivement analysée via une nouvelle initiative passionnante à l'Université de StanfordL'IA pour la santé mentale est attentivement analysée via une nouvelle initiative passionnante à l'Université de StanfordApr 18, 2025 am 11:49 AM

Leur lancement inaugural de l'AI4MH a eu lieu le 15 avril 2025, et le Dr Tom Insel, M.D., célèbre psychiatre et neuroscientifique, a été le conférencier de lancement. Le Dr Insel est réputé pour son travail exceptionnel dans la recherche en santé mentale et la techno

La classe de draft de la WNBA 2025 entre dans une ligue qui grandit et luttant sur le harcèlement en ligneLa classe de draft de la WNBA 2025 entre dans une ligue qui grandit et luttant sur le harcèlement en ligneApr 18, 2025 am 11:44 AM

"Nous voulons nous assurer que la WNBA reste un espace où tout le monde, les joueurs, les fans et les partenaires d'entreprise, se sentent en sécurité, appréciés et autonomes", a déclaré Engelbert, abordé ce qui est devenu l'un des défis les plus dommageables des sports féminins. L'anno

Guide complet des structures de données intégrées Python - Analytics VidhyaGuide complet des structures de données intégrées Python - Analytics VidhyaApr 18, 2025 am 11:43 AM

Introduction Python excelle comme un langage de programmation, en particulier dans la science des données et l'IA générative. La manipulation efficace des données (stockage, gestion et accès) est cruciale lorsqu'il s'agit de grands ensembles de données. Nous avons déjà couvert les nombres et ST

Premières impressions des nouveaux modèles d'Openai par rapport aux alternativesPremières impressions des nouveaux modèles d'Openai par rapport aux alternativesApr 18, 2025 am 11:41 AM

Avant de plonger, une mise en garde importante: les performances de l'IA sont non déterministes et très usagées. En termes plus simples, votre kilométrage peut varier. Ne prenez pas cet article (ou aucun autre) article comme le dernier mot - au lieu, testez ces modèles sur votre propre scénario

Portfolio AI | Comment construire un portefeuille pour une carrière en IA?Portfolio AI | Comment construire un portefeuille pour une carrière en IA?Apr 18, 2025 am 11:40 AM

Construire un portefeuille AI / ML hors concours: un guide pour les débutants et les professionnels La création d'un portefeuille convaincant est cruciale pour sécuriser les rôles dans l'intelligence artificielle (IA) et l'apprentissage automatique (ML). Ce guide fournit des conseils pour construire un portefeuille

Ce que l'IA agentique pourrait signifier pour les opérations de sécuritéCe que l'IA agentique pourrait signifier pour les opérations de sécuritéApr 18, 2025 am 11:36 AM

Le résultat? L'épuisement professionnel, l'inefficacité et un écart d'élargissement entre la détection et l'action. Rien de tout cela ne devrait être un choc pour quiconque travaille en cybersécurité. La promesse d'une IA agentique est devenue un tournant potentiel, cependant. Cette nouvelle classe

Google contre Openai: la lutte contre l'IA pour les étudiantsGoogle contre Openai: la lutte contre l'IA pour les étudiantsApr 18, 2025 am 11:31 AM

Impact immédiat contre partenariat à long terme? Il y a deux semaines, Openai s'est avancé avec une puissante offre à court terme, accordant aux étudiants des États-Unis et canadiens d'accès gratuit à Chatgpt Plus jusqu'à la fin mai 2025. Cet outil comprend GPT - 4O, un A

See all articles

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
1 Il y a quelques moisBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
1 Il y a quelques moisBy尊渡假赌尊渡假赌尊渡假赌
Will R.E.P.O. Vous avez un jeu croisé?
1 Il y a quelques moisBy尊渡假赌尊渡假赌尊渡假赌

Outils chauds

MinGW - GNU minimaliste pour Windows

MinGW - GNU minimaliste pour Windows

Ce projet est en cours de migration vers osdn.net/projects/mingw, vous pouvez continuer à nous suivre là-bas. MinGW : un port Windows natif de GNU Compiler Collection (GCC), des bibliothèques d'importation et des fichiers d'en-tête librement distribuables pour la création d'applications Windows natives ; inclut des extensions du runtime MSVC pour prendre en charge la fonctionnalité C99. Tous les logiciels MinGW peuvent fonctionner sur les plates-formes Windows 64 bits.

DVWA

DVWA

Damn Vulnerable Web App (DVWA) est une application Web PHP/MySQL très vulnérable. Ses principaux objectifs sont d'aider les professionnels de la sécurité à tester leurs compétences et leurs outils dans un environnement juridique, d'aider les développeurs Web à mieux comprendre le processus de sécurisation des applications Web et d'aider les enseignants/étudiants à enseigner/apprendre dans un environnement de classe. Application Web sécurité. L'objectif de DVWA est de mettre en pratique certaines des vulnérabilités Web les plus courantes via une interface simple et directe, avec différents degrés de difficulté. Veuillez noter que ce logiciel

Listes Sec

Listes Sec

SecLists est le compagnon ultime du testeur de sécurité. Il s'agit d'une collection de différents types de listes fréquemment utilisées lors des évaluations de sécurité, le tout en un seul endroit. SecLists contribue à rendre les tests de sécurité plus efficaces et productifs en fournissant facilement toutes les listes dont un testeur de sécurité pourrait avoir besoin. Les types de listes incluent les noms d'utilisateur, les mots de passe, les URL, les charges utiles floues, les modèles de données sensibles, les shells Web, etc. Le testeur peut simplement extraire ce référentiel sur une nouvelle machine de test et il aura accès à tous les types de listes dont il a besoin.

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit