


Das Multimodal Large Language Model (MLLM) stützt sich auf den umfangreichen Wissensvorrat und die leistungsstarken Argumentations- und Generalisierungsfähigkeiten von LLM, um multimodale Probleme zu lösen, wie z. B. das Betrachten von Bildern und das Betrachten von Bildern und das Schreiben von Code.
Aber es ist schwierig, die Leistung von MLLM allein anhand dieser Beispiele vollständig darzustellen, und es mangelt immer noch an einer umfassenden Bewertung von MLLM.
Zu diesem Zweck führten Tencent Youtu Lab und die Universität Xiamen erstmals eine umfassende quantitative Bewertung von 12 bestehenden Open-Source-MLLM-Modellen auf dem neu erstellten Bewertungsbenchmark MM durch und veröffentlichten 16 Rankings, darunter sowohl die Wahrnehmungs- als auch die Kognitions-Gesamtliste und 14 Unterlisten:
Papierlink: https://arxiv.org/pdf/2306.13394.pdf
Projektlink: https://github.com/BradyFU/Awesome -Multimodal- Large-Language-Models/tree/Evaluation
Die bestehenden quantitativen Bewertungsmethoden von MLLM sind hauptsächlich in drei Kategorien unterteilt, aber alle weisen gewisse Einschränkungen auf, die es schwierig machen, ihre Leistung vollständig abzubilden.
Die erste Kategorie von Methoden wird anhand traditioneller öffentlicher Datensätze evaluiert, z. B. Bildunterschriften und VQA-Datensätzen (Visual Question Answering).
Aber einerseits sind diese traditionellen Datensätze möglicherweise nicht in der Lage, die neuen Fähigkeiten widerzuspiegeln, die sich aus MLLM ergeben. Andererseits ist dies schwierig, da die Trainingssätze im Zeitalter der großen Modelle nicht mehr einheitlich sind garantieren, dass diese Bewertungsdatensätze nicht von anderen MLLMs trainiert wurden.
Die zweite Möglichkeit besteht darin, neue Daten zur offenen Auswertung zu sammeln, diese Daten sind jedoch entweder nicht öffentlich [1] oder die Anzahl ist zu gering (nur 50 Bilder) [2].
Die dritte Methode konzentriert sich auf einen bestimmten Aspekt von MLLM, wie z. B. Objekthalluzination [3] oder gegnerische Robustheit [4], und kann nicht vollständig bewertet werden.
Es besteht dringender Bedarf an einem umfassenden Bewertungsmaßstab, der der rasanten Entwicklung von MLLM gerecht wird. Forscher glauben, dass ein universeller umfassender Bewertungsmaßstab die folgenden Merkmale aufweisen sollte:
(1) Er sollte einen möglichst großen Bereich abdecken, einschließlich Wahrnehmung und kognitiven Fähigkeiten. Ersteres bezieht sich auf die Identifizierung von Objekten, einschließlich ihrer Existenz, Menge, Position und Farbe. Letzteres bezieht sich auf die Integration sensorischer Informationen und Wissen im LLM, um komplexere Überlegungen anzustellen. Ersteres ist die Grundlage für Letzteres.
(2) Daten oder Anmerkungen sollten die Verwendung vorhandener öffentlicher Datensätze so weit wie möglich vermeiden, um das Risiko von Datenlecks zu verringern.
(3) Anweisungen sollten so prägnant wie möglich sein und mit den kognitiven Gewohnheiten des Menschen übereinstimmen. Unterschiedliche Befehlsdesigns können die Ausgabe des Modells stark beeinflussen, alle Modelle werden jedoch anhand einheitlicher und prägnanter Anweisungen bewertet, um Fairness zu gewährleisten. Ein gutes MLLM-Modell sollte in der Lage sein, solche präzisen Anweisungen zu verallgemeinern, um nicht in die Prompt-Engineering-Ära zu verfallen.
(4) Die Ausgabe von MLLM im Rahmen dieser prägnanten Anleitung sollte für quantitative Statistiken intuitiv und praktisch sein. Die offenen Antworten des MLLM stellen die quantitative Statistik vor große Herausforderungen. Bestehende Methoden verwenden in der Regel GPT oder manuelles Scoring, können jedoch mit Problemen der Ungenauigkeit und Subjektivität konfrontiert sein.
Abbildung 1. Beispiel für einen MME-Bewertungsbenchmark. Jedes Bild entspricht zwei Fragen und die Antworten lauten Ja[J] bzw. Nein[N]. Die Frage und „Bitte antworten Sie mit Ja oder Nein“ bilden zusammen den Befehl.
Basierend auf den oben genannten Gründen wurde ein neuer MLLM-Bewertungsbenchmark MME erstellt, der gleichzeitig die oben genannten vier Merkmale aufweist:
1. MME bewertet gleichzeitig Wahrnehmung und kognitive Fähigkeiten. Zusätzlich zur OCR umfassen die Erfassungsfunktionen eine grobkörnige und feinkörnige Zielerkennung. Ersteres identifiziert das Vorhandensein, die Menge, den Ort und die Farbe von Objekten. Letzteres identifiziert Filmplakate, Prominente, Szenen, Sehenswürdigkeiten und Kunstwerke. Zu den kognitiven Fähigkeiten gehören gesundes Denken, numerische Berechnungen, Textübersetzung und Codeschlussfolgerung. Die Gesamtzahl der Unteraufgaben beträgt 14, wie in Abbildung 1 dargestellt.
2. Alle Befehl-Antwort-Paare in MME werden manuell erstellt. Für die wenigen verwendeten öffentlich zugänglichen Datensätze wurden nur deren Bilder verwendet, ohne sich auf ihre Originalanmerkungen zu verlassen. Gleichzeitig versuchen Forscher ihr Bestes, Daten durch manuelle Fotografie und Bilderzeugung zu sammeln.
3. MME-Anweisungen sind so prägnant wie möglich gestaltet, um die Auswirkungen von Prompt Engineering auf die Modellausgabe zu vermeiden. Die Forscher bekräftigen, dass ein gutes MLLM auf solch prägnante und häufig verwendete Anweisungen verallgemeinern sollte, was allen Modellen gerecht wird. Die Anweisungen für jede Unteraufgabe sind in Abbildung 1 dargestellt.
4. Dank des Befehlsdesigns „Bitte antworten Sie mit Ja oder Nein“ können quantitative Statistiken basierend auf der „Ja“- oder „Nein“-Ausgabe des Modells einfach durchgeführt werden. Diese Methode kann sowohl Genauigkeit als auch Objektivität gewährleisten. Es ist erwähnenswert, dass Forscher auch versucht haben, Anweisungen für Multiple-Choice-Fragen zu entwerfen, aber festgestellt haben, dass es im aktuellen MLLM immer noch schwierig ist, solch komplexere Anweisungen zu befolgen.
Forscher bewerteten insgesamt 12 fortgeschrittene MLLM-Modelle, darunter BLIP-2 [5], LLaVA [6], MiniGPT-4 [7], mPLUG-Owl [2], LLaMA-Adapter-v2 [8], Otter [9], Multimodal-GPT [10], InstructBLIP [11], VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] und LaVIN [15].
Unter ihnen gibt es drei statistische Indikatoren, darunter Genauigkeit, Genauigkeit+ und Punktzahl. Für jede Aufgabe basiert Accuracy auf Fragenstatistiken, Accuracy+ auf Bildstatistiken (beide Fragen zu den Bildern müssen richtig beantwortet werden) und Score ist die Summe von Accuracy und Accuracy+.
Die Gesamtbewertung der Wahrnehmung ist die Summe der Bewertungen von 10 Wahrnehmungsunteraufgaben, und die Gesamtbewertung der Wahrnehmung ist die Summe der Bewertungen von 4 kognitiven Aufgaben. Weitere Informationen finden Sie unter dem Projektlink.
Der Testvergleich von 12 Modellen zu 14 Teilaufgaben ist in Abbildung 2 dargestellt:
Abbildung 2. Vergleich von 12 Modellen zu 14 Teilaufgaben. Die Gesamtpunktzahl für jede Teilaufgabe beträgt 200 Punkte.
Außerdem wurden insgesamt 16 Listen veröffentlicht, darunter die Gesamtliste der Wahrnehmungs- und Kognitionskategorien und die Listen mit 14 Unteraufgaben. Die beiden Gesamtlisten sind in den Abbildungen 3 und 4 dargestellt. Es ist erwähnenswert, dass BLIP-2 und InstructBLIP in beiden Listen weiterhin unter den ersten drei stehen.
Bilder
Abbildung 3. Gesamtliste der Wahrnehmungsaufgaben
Abbildung 4. Gesamtliste der kognitiven Aufgaben
Abbildung 5. Alle Listen
In Darüber hinaus fassten die Forscher auch einige häufige Probleme zusammen, die das MLLM-Modell in Experimenten aufdeckt (siehe Abbildung 6), in der Hoffnung, Hinweise für die nachfolgende Modelloptimierung zu geben.
Bilder
Abbildung 6. Häufige Probleme, die durch MLLM aufgedeckt werden. [Y]/[N] bedeutet, dass die tatsächliche Antwort Ja/Nein ist. [R] ist die von MLLM generierte Antwort.
Das erste Problem besteht darin, den Anweisungen nicht zu folgen.
Obwohl ein sehr prägnantes Anleitungsdesign übernommen wurde, gibt es immer noch MLLMs, denen es freisteht, Fragen zu beantworten, anstatt Anweisungen zu befolgen.
Wie in der ersten Zeile von Abbildung 6 gezeigt, lautete die Anweisung „Bitte antworten Sie mit Ja oder Nein“, aber MLLM gab nur eine deklarative Antwort. Steht am Anfang der Antwort nicht „Ja“ oder „Nein“, wird die Antwort als falsch gewertet. Ein gutes MLLM sollte, insbesondere nach der Feinabstimmung der Anweisungen, in der Lage sein, auf solch einfache Anweisungen zu verallgemeinern.
Das zweite Problem ist die mangelnde Wahrnehmung.
Wie in der zweiten Zeile in Abbildung 6 dargestellt, hat MLLM die Anzahl der Bananen im ersten Bild und die Anzahl im zweiten Bild falsch identifiziert, was zu falschen Antworten führte. Die Forscher stellten außerdem fest, dass die Wahrnehmungsleistung durch Änderungen in den Anweisungen leicht beeinträchtigt wurde, da zwei Anweisungen für dasselbe Bild, die sich nur um ein Wort unterschieden, zu völlig unterschiedlichen Wahrnehmungsergebnissen führten.
Das dritte Problem ist mangelnde Denkfähigkeit.
Wie in der dritten Zeile von Abbildung 6 dargestellt, ist anhand des roten Textes zu erkennen, dass MLLM bereits weiß, dass es sich auf dem ersten Bild nicht um eine Bürofläche handelt, aber trotzdem eine falsche Antwort „Ja“ gegeben hat.
Ebenso hat MLLM im zweiten Bild das richtige Rechenergebnis berechnet, letztlich aber auch die falsche Antwort gegeben. Das Hinzufügen einer Denkanregung wie „Lass uns Schritt für Schritt denken“ kann zu besseren Ergebnissen führen. Ich freue mich auf eine eingehendere Forschung in diesem Bereich.
Die vierte Frage ist die Objektsicht, die dem Befehl folgt. Wie in der vierten Zeile von Abbildung 6 dargestellt, geht MLLM davon aus, dass das Objekt existiert, wenn die Anweisung ein Objekt enthält, das im Bild nicht vorhanden ist, und gibt schließlich eine „Ja“-Antwort.
Dieser Ansatz, immer mit „Ja“ zu antworten, führt zu einer Genauigkeit von nahezu 50 % und einer Genauigkeit+ von nahezu 0. Dies zeigt, wie wichtig es ist, Zielhalluzinationen zu unterdrücken, und erfordert auch weitere Überlegungen zur Zuverlässigkeit der von MLLM generierten Antworten.
Das obige ist der detaillierte Inhalt vonBLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Vor kurzem haben wir mit dem Aufkommen großer Sprachmodelle und KI unzähliger Fortschritte bei der Verarbeitung natürlicher Sprache verzeichnet. Modelle in Domänen wie Text, Code und Bild-/Videogenerierung haben menschenähnliche Argumentation und p archiviert

Einführung Die Erkennung der Geschlechter aus Gesichtsbildern ist eine der vielen faszinierenden Anwendungen von Computer Vision. In diesem Projekt kombinieren wir OpenCV für den Standort und die Roboflow -API für die Klassifizierung der Geschlechter und machen a

Einführung Die Welt der Werbung wurde seit der Konzeption des Tauschhandels in Evolution in Evolution. Werbetreibende haben kreative Wege gefunden, um ihre Produkte aufmerksam zu machen. Im gegenwärtigen Alter erwarten die Verbraucher BR

Einführung Am 12. September veröffentlichte OpenAI ein Update mit dem Titel „Lernen zu Grund mit LLMs“. Sie stellten das O1 -Modell ein, das mit Verstärkungslernen geschult wird, um komplexe Argumentationsaufgaben anzugehen. Was setzt diesen Mod

Einführung Die OpenAI O1-Modellfamilie fördert die Argumentation von Macht und Wirtschaftsleistung erheblich, insbesondere in Wissenschaft, Kodierung und Problemlösung. Das Ziel von OpenAI ist es, immer wiederherstellte KI- und O1-Modelle zu erstellen

Einführung Heute bewegt sich die Welt des Kundenanfragungsmanagements in einem beispiellosen Tempo, wobei jeden Tag neue Tools Schlagzeilen machen. LLM -Agenten des großen Sprachmodells sind die neueste Innovation in diesem Zusammenhang und steigern Cu

Einführung Die Einführung generativer KI kann für jedes Unternehmen eine transformative Reise sein. Der Prozess der Genai -Implementierung kann jedoch häufig umständlich und verwirrend sein. Rajendra Singh Pawar, Vorsitzender und Mitbegründer von Niit Lim

Einführung Die KI-Revolution hat zu einer neuen Ära der Kreativität geführt, in der Text-zu-Image-Modelle die Schnittstelle von Kunst, Design und Technologie neu definieren. Pixtral 12b und Qwen2-VL-72B sind zwei Pionierkräfte Drivin


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Herunterladen der Mac-Version des Atom-Editors
Der beliebteste Open-Source-Editor

SecLists
SecLists ist der ultimative Begleiter für Sicherheitstester. Dabei handelt es sich um eine Sammlung verschiedener Arten von Listen, die häufig bei Sicherheitsbewertungen verwendet werden, an einem Ort. SecLists trägt dazu bei, Sicherheitstests effizienter und produktiver zu gestalten, indem es bequem alle Listen bereitstellt, die ein Sicherheitstester benötigen könnte. Zu den Listentypen gehören Benutzernamen, Passwörter, URLs, Fuzzing-Payloads, Muster für vertrauliche Daten, Web-Shells und mehr. Der Tester kann dieses Repository einfach auf einen neuen Testcomputer übertragen und hat dann Zugriff auf alle Arten von Listen, die er benötigt.

DVWA
Damn Vulnerable Web App (DVWA) ist eine PHP/MySQL-Webanwendung, die sehr anfällig ist. Seine Hauptziele bestehen darin, Sicherheitsexperten dabei zu helfen, ihre Fähigkeiten und Tools in einem rechtlichen Umfeld zu testen, Webentwicklern dabei zu helfen, den Prozess der Sicherung von Webanwendungen besser zu verstehen, und Lehrern/Schülern dabei zu helfen, in einer Unterrichtsumgebung Webanwendungen zu lehren/lernen Sicherheit. Das Ziel von DVWA besteht darin, einige der häufigsten Web-Schwachstellen über eine einfache und unkomplizierte Benutzeroberfläche mit unterschiedlichen Schwierigkeitsgraden zu üben. Bitte beachten Sie, dass diese Software

SublimeText3 Linux neue Version
SublimeText3 Linux neueste Version

EditPlus chinesische Crack-Version
Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion