


Le modèle multimodal de langage étendu (MLLM) s'appuie sur la riche réserve de connaissances de LLM et sur ses puissantes capacités de raisonnement et de généralisation pour résoudre des problèmes multimodaux. Certaines capacités étonnantes ont émergé, telles que regarder des images et écrire, regarder des images et écrire du code.
Mais il est difficile de refléter pleinement les performances du MLLM sur la base de ces seuls exemples, et il manque encore une évaluation complète du MLLM.
À cette fin, Tencent Youtu Lab et l'Université de Xiamen ont mené pour la première fois une évaluation quantitative complète de 12 modèles MLLM open source existants sur le nouveau référentiel d'évaluation MM et ont publié 16 classements, incluant à la fois la perception et la cognition. et 14 sous-listes :
Lien papier : https://arxiv.org/pdf/2306.13394.pdf
Lien du projet : https://github.com/BradyFU/Awesome -Multimodal- Large-Language-Models/tree/Evaluation
Les méthodes d'évaluation quantitative existantes du MLLM sont principalement divisées en trois catégories, mais elles présentent toutes certaines limites qui rendent difficile de refléter pleinement leurs performances.
La première catégorie de méthodes est évaluée sur des ensembles de données publics traditionnels, tels que les ensembles de données de légende d'image et de réponse visuelle aux questions (VQA).
Mais d'une part, ces ensembles de données traditionnels peuvent ne pas être en mesure de refléter les nouvelles capacités émergentes du MLLM. D'autre part, étant donné que les ensembles de formation à l'ère des grands modèles ne sont plus unifiés, il est difficile de le faire. garantir que ces ensembles de données d’évaluation n’ont pas été formés par d’autres MLLM.
La deuxième méthode consiste à collecter de nouvelles données pour une évaluation ouverte, mais ces données ne sont pas publiques [1] ou leur nombre est trop petit (seulement 50 images) [2].
La troisième méthode se concentre sur un aspect spécifique du MLLM, comme l'hallucination d'objet [3] ou la robustesse contradictoire [4], et ne peut pas être entièrement évaluée.
Il existe un besoin urgent d'un référentiel d'évaluation complet pour correspondre au développement rapide du MLLM. Les chercheurs estiment qu'un référentiel d'évaluation complet et universel devrait avoir les caractéristiques suivantes :
(1) Il devrait couvrir autant de champ d'application que possible, y compris la perception et les capacités cognitives. Le premier fait référence à l’identification des objets, notamment leur existence, leur quantité, leur emplacement et leur couleur. Ce dernier fait référence à l'intégration d'informations sensorielles et de connaissances dans le LLM pour effectuer un raisonnement plus complexe. Le premier est la base du second.
(2) Les données ou annotations doivent éviter autant que possible d'utiliser des ensembles de données publiques existantes afin de réduire le risque de fuite de données.
(3) Les instructions doivent être aussi concises que possible et cohérentes avec les habitudes cognitives humaines. Différentes conceptions d'instructions peuvent grandement affecter le résultat du modèle, mais tous les modèles sont évalués selon des instructions unifiées et concises pour garantir l'équité. Un bon modèle MLLM doit avoir la capacité de généraliser à des instructions aussi concises pour éviter de tomber dans une ingénierie rapide.
(4) La sortie de MLLM sous cette instruction concise doit être intuitive et pratique pour les statistiques quantitatives. Les réponses ouvertes du MLLM posent de grands défis aux statistiques quantitatives. Les méthodes existantes ont tendance à utiliser le GPT ou la notation manuelle, mais peuvent se heurter à des problèmes d'inexactitude et de subjectivité.
Figure 1. Exemple de référence d'évaluation MME. Chaque image correspond à deux questions, et les réponses sont respectivement Oui[O] et Non[N]. La question et « Veuillez répondre par oui ou par non » forment ensemble la commande.
Sur la base des raisons ci-dessus, un nouveau référentiel d'évaluation MLLM MME a été construit, qui présente simultanément les quatre caractéristiques ci-dessus :
1 MME évalue à la fois la perception et les capacités cognitives. En plus de l'OCR, les capacités de détection incluent la reconnaissance de cibles à gros grain et à grain fin. Le premier identifie la présence, la quantité, l’emplacement et la couleur des objets. Ce dernier identifie les affiches de films, les célébrités, les scènes, les monuments et les œuvres d'art. Les capacités cognitives comprennent le raisonnement de bon sens, les calculs numériques, la traduction de texte et le raisonnement codé. Le nombre total de sous-tâches atteint 14, comme le montre la figure 1.
2. Toutes les paires commande-réponse dans MME sont construites manuellement. Pour les quelques ensembles de données accessibles au public utilisés, seules leurs images ont été utilisées sans s'appuyer sur leurs annotations originales. Dans le même temps, les chercheurs font également de leur mieux pour collecter des données grâce à la photographie manuelle et à la génération d’images.
3. Les instructions MME sont conçues pour être aussi concises que possible afin d'éviter l'impact de Prompt Engineering sur la sortie du modèle. Les chercheurs réitèrent qu'un bon MLLM devrait généraliser à des instructions aussi concises et fréquemment utilisées, ce qui est juste pour tous les modèles. Les instructions pour chaque sous-tâche sont présentées dans la figure 1.
4. Grâce à la conception de la commande « Veuillez répondre par oui ou par non », des statistiques quantitatives peuvent être facilement réalisées sur la base de la sortie « Oui » ou « Non » du modèle. Cette méthode peut garantir à la fois précision et objectivité. temps. Il convient de noter que les chercheurs ont également essayé de concevoir des instructions pour les questions à choix multiples, mais ont constaté qu'il est encore difficile de suivre des instructions aussi complexes dans le MLLM actuel.
Les chercheurs ont évalué un total de 12 modèles MLLM avancés, dont BLIP-2 [5], LLaVA [6], MiniGPT-4 [7], mPLUG-Owl [2], LLaMA-Adapter-v2 [8] ] , Otter [9], Multimodal-GPT [10], InstructBLIP [11], VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] et LaVIN [15].
Parmi eux, il existe trois indicateurs statistiques, dont Accuracy, Accuracy+ et Score. Pour chaque tâche, la précision est basée sur les statistiques des questions, la précision+ est basée sur les statistiques des images (les deux questions correspondant aux images doivent recevoir une réponse correcte) et le score est la somme de la précision et de la précision+.
Le score total de perception est la somme des scores de 10 sous-tâches perceptuelles, et le score total de cognition est la somme des scores de 4 tâches cognitives. Voir le lien du projet pour plus de détails.
La comparaison des tests de 12 modèles sur 14 sous-tâches est présentée dans la figure 2 :
Figure 2. Comparaison de 12 modèles sur 14 sous-tâches. Le score total pour chaque sous-tâche est de 200 points.
Au total, 16 listes, comprenant la liste globale des catégories de perception et de cognition et les listes de 14 sous-tâches, ont également été publiées. Les deux listes globales sont présentées respectivement dans les figures 3 et 4. Il convient de noter que BLIP-2 et InstructBLIP restent parmi les trois premiers des deux listes.
Photos
Figure 3. Liste totale des tâches de perception
Figure 4. Liste totale des tâches cognitives
Figure 5. Toutes les listes
Dans En outre, les chercheurs ont également résumé certains problèmes courants exposés par le modèle MLLM dans les expériences, comme le montre la figure 6, dans l'espoir de fournir des conseils pour l'optimisation ultérieure du modèle.
Photos
Figure 6. Problèmes courants exposés par MLLM. [O]/[N] signifie que la vraie réponse est Oui/Non. [R] est la réponse générée par MLLM.
Le premier problème est de ne pas suivre les instructions.
Bien qu'une conception d'instructions très concise ait été adoptée, il existe toujours des MLLM qui sont libres de répondre aux questions plutôt que de suivre les instructions.
Comme le montre la première ligne de la figure 6, l'instruction indique "Veuillez répondre par oui ou par non", mais MLLM n'a donné qu'une réponse déclarative. Si « Oui » ou « Non » n'apparaît pas au début de la réponse, la réponse est jugée incorrecte. Un bon MLLM, surtout après avoir affiné les instructions, devrait être capable de généraliser à des instructions aussi simples.
Le deuxième problème est le manque de perception.
Comme le montre la deuxième rangée de la figure 6, MLLM a identifié de manière incorrecte le nombre de bananes dans la première image et le nombre dans la deuxième image, ce qui a entraîné des réponses erronées. Les chercheurs ont également remarqué que les performances perceptuelles étaient facilement affectées par les changements d’instructions, puisque deux instructions pour la même image qui différaient d’un seul mot entraînaient des résultats perceptuels complètement différents.
Le troisième problème est le manque de capacité de raisonnement.
Comme le montre la troisième ligne de la figure 6, il ressort du texte rouge que MLLM sait déjà que la première image n'est pas un espace de bureau, mais a quand même donné une réponse incorrecte « Oui ».
De même, sur la deuxième image, MLLM a calculé le résultat arithmétique correct, mais a finalement également donné la mauvaise réponse. L’ajout d’une invite de chaîne de pensée, telle que « Réfléchissons étape par étape », peut apporter de meilleurs résultats. Dans l’attente de recherches plus approfondies dans ce domaine.
La quatrième question est la vision objet suite à la commande. Comme le montre la quatrième ligne de la figure 6, lorsque l'instruction contient un objet qui n'existe pas dans l'image, MLLM imaginera que l'objet existe et donnera finalement une réponse « Oui ».
Cette approche consistant à toujours répondre « Oui » entraîne une précision proche de 50 % et une précision+ proche de 0. Cela démontre l’importance de supprimer les hallucinations cibles et nécessite également une réflexion plus approfondie sur la fiabilité des réponses générées par MLLM.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Exploiter la puissance de l'IA sur disvise: construire une CLI de chatbot personnelle Dans un passé récent, le concept d'un assistant d'IA personnel semblait être une science-fiction. Imaginez Alex, un passionné de technologie, rêvant d'un compagnon d'IA intelligent et local - celui qui ne dépend pas

Leur lancement inaugural de l'AI4MH a eu lieu le 15 avril 2025, et le Dr Tom Insel, M.D., célèbre psychiatre et neuroscientifique, a été le conférencier de lancement. Le Dr Insel est réputé pour son travail exceptionnel dans la recherche en santé mentale et la techno

"Nous voulons nous assurer que la WNBA reste un espace où tout le monde, les joueurs, les fans et les partenaires d'entreprise, se sentent en sécurité, appréciés et autonomes", a déclaré Engelbert, abordé ce qui est devenu l'un des défis les plus dommageables des sports féminins. L'anno

Introduction Python excelle comme un langage de programmation, en particulier dans la science des données et l'IA générative. La manipulation efficace des données (stockage, gestion et accès) est cruciale lorsqu'il s'agit de grands ensembles de données. Nous avons déjà couvert les nombres et ST

Avant de plonger, une mise en garde importante: les performances de l'IA sont non déterministes et très usagées. En termes plus simples, votre kilométrage peut varier. Ne prenez pas cet article (ou aucun autre) article comme le dernier mot - au lieu, testez ces modèles sur votre propre scénario

Construire un portefeuille AI / ML hors concours: un guide pour les débutants et les professionnels La création d'un portefeuille convaincant est cruciale pour sécuriser les rôles dans l'intelligence artificielle (IA) et l'apprentissage automatique (ML). Ce guide fournit des conseils pour construire un portefeuille

Le résultat? L'épuisement professionnel, l'inefficacité et un écart d'élargissement entre la détection et l'action. Rien de tout cela ne devrait être un choc pour quiconque travaille en cybersécurité. La promesse d'une IA agentique est devenue un tournant potentiel, cependant. Cette nouvelle classe

Impact immédiat contre partenariat à long terme? Il y a deux semaines, Openai s'est avancé avec une puissante offre à court terme, accordant aux étudiants des États-Unis et canadiens d'accès gratuit à Chatgpt Plus jusqu'à la fin mai 2025. Cet outil comprend GPT - 4O, un A


Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

MinGW - GNU minimaliste pour Windows
Ce projet est en cours de migration vers osdn.net/projects/mingw, vous pouvez continuer à nous suivre là-bas. MinGW : un port Windows natif de GNU Compiler Collection (GCC), des bibliothèques d'importation et des fichiers d'en-tête librement distribuables pour la création d'applications Windows natives ; inclut des extensions du runtime MSVC pour prendre en charge la fonctionnalité C99. Tous les logiciels MinGW peuvent fonctionner sur les plates-formes Windows 64 bits.

DVWA
Damn Vulnerable Web App (DVWA) est une application Web PHP/MySQL très vulnérable. Ses principaux objectifs sont d'aider les professionnels de la sécurité à tester leurs compétences et leurs outils dans un environnement juridique, d'aider les développeurs Web à mieux comprendre le processus de sécurisation des applications Web et d'aider les enseignants/étudiants à enseigner/apprendre dans un environnement de classe. Application Web sécurité. L'objectif de DVWA est de mettre en pratique certaines des vulnérabilités Web les plus courantes via une interface simple et directe, avec différents degrés de difficulté. Veuillez noter que ce logiciel

Listes Sec
SecLists est le compagnon ultime du testeur de sécurité. Il s'agit d'une collection de différents types de listes fréquemment utilisées lors des évaluations de sécurité, le tout en un seul endroit. SecLists contribue à rendre les tests de sécurité plus efficaces et productifs en fournissant facilement toutes les listes dont un testeur de sécurité pourrait avoir besoin. Les types de listes incluent les noms d'utilisateur, les mots de passe, les URL, les charges utiles floues, les modèles de données sensibles, les shells Web, etc. Le testeur peut simplement extraire ce référentiel sur une nouvelle machine de test et il aura accès à tous les types de listes dont il a besoin.

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit