


Das Multimodal Large Language Model (MLLM) stützt sich auf den umfangreichen Wissensvorrat und die leistungsstarken Argumentations- und Generalisierungsfähigkeiten von LLM, um multimodale Probleme zu lösen, wie z. B. das Betrachten von Bildern und das Betrachten von Bildern und das Schreiben von Code.
Aber es ist schwierig, die Leistung von MLLM allein anhand dieser Beispiele vollständig darzustellen, und es mangelt immer noch an einer umfassenden Bewertung von MLLM.
Zu diesem Zweck führten Tencent Youtu Lab und die Universität Xiamen erstmals eine umfassende quantitative Bewertung von 12 bestehenden Open-Source-MLLM-Modellen auf dem neu erstellten Bewertungsbenchmark MM durch und veröffentlichten 16 Rankings, darunter sowohl die Wahrnehmungs- als auch die Kognitions-Gesamtliste und 14 Unterlisten:
Papierlink: https://arxiv.org/pdf/2306.13394.pdf
Projektlink: https://github.com/BradyFU/Awesome -Multimodal- Large-Language-Models/tree/Evaluation
Die bestehenden quantitativen Bewertungsmethoden von MLLM sind hauptsächlich in drei Kategorien unterteilt, aber alle weisen gewisse Einschränkungen auf, die es schwierig machen, ihre Leistung vollständig abzubilden.
Die erste Kategorie von Methoden wird anhand traditioneller öffentlicher Datensätze evaluiert, z. B. Bildunterschriften und VQA-Datensätzen (Visual Question Answering).
Aber einerseits sind diese traditionellen Datensätze möglicherweise nicht in der Lage, die neuen Fähigkeiten widerzuspiegeln, die sich aus MLLM ergeben. Andererseits ist dies schwierig, da die Trainingssätze im Zeitalter der großen Modelle nicht mehr einheitlich sind garantieren, dass diese Bewertungsdatensätze nicht von anderen MLLMs trainiert wurden.
Die zweite Möglichkeit besteht darin, neue Daten zur offenen Auswertung zu sammeln, diese Daten sind jedoch entweder nicht öffentlich [1] oder die Anzahl ist zu gering (nur 50 Bilder) [2].
Die dritte Methode konzentriert sich auf einen bestimmten Aspekt von MLLM, wie z. B. Objekthalluzination [3] oder gegnerische Robustheit [4], und kann nicht vollständig bewertet werden.
Es besteht dringender Bedarf an einem umfassenden Bewertungsmaßstab, der der rasanten Entwicklung von MLLM gerecht wird. Forscher glauben, dass ein universeller umfassender Bewertungsmaßstab die folgenden Merkmale aufweisen sollte:
(1) Er sollte einen möglichst großen Bereich abdecken, einschließlich Wahrnehmung und kognitiven Fähigkeiten. Ersteres bezieht sich auf die Identifizierung von Objekten, einschließlich ihrer Existenz, Menge, Position und Farbe. Letzteres bezieht sich auf die Integration sensorischer Informationen und Wissen im LLM, um komplexere Überlegungen anzustellen. Ersteres ist die Grundlage für Letzteres.
(2) Daten oder Anmerkungen sollten die Verwendung vorhandener öffentlicher Datensätze so weit wie möglich vermeiden, um das Risiko von Datenlecks zu verringern.
(3) Anweisungen sollten so prägnant wie möglich sein und mit den kognitiven Gewohnheiten des Menschen übereinstimmen. Unterschiedliche Befehlsdesigns können die Ausgabe des Modells stark beeinflussen, alle Modelle werden jedoch anhand einheitlicher und prägnanter Anweisungen bewertet, um Fairness zu gewährleisten. Ein gutes MLLM-Modell sollte in der Lage sein, solche präzisen Anweisungen zu verallgemeinern, um nicht in die Prompt-Engineering-Ära zu verfallen.
(4) Die Ausgabe von MLLM im Rahmen dieser prägnanten Anleitung sollte für quantitative Statistiken intuitiv und praktisch sein. Die offenen Antworten des MLLM stellen die quantitative Statistik vor große Herausforderungen. Bestehende Methoden verwenden in der Regel GPT oder manuelles Scoring, können jedoch mit Problemen der Ungenauigkeit und Subjektivität konfrontiert sein.
Abbildung 1. Beispiel für einen MME-Bewertungsbenchmark. Jedes Bild entspricht zwei Fragen und die Antworten lauten Ja[J] bzw. Nein[N]. Die Frage und „Bitte antworten Sie mit Ja oder Nein“ bilden zusammen den Befehl.
Basierend auf den oben genannten Gründen wurde ein neuer MLLM-Bewertungsbenchmark MME erstellt, der gleichzeitig die oben genannten vier Merkmale aufweist:
1. MME bewertet gleichzeitig Wahrnehmung und kognitive Fähigkeiten. Zusätzlich zur OCR umfassen die Erfassungsfunktionen eine grobkörnige und feinkörnige Zielerkennung. Ersteres identifiziert das Vorhandensein, die Menge, den Ort und die Farbe von Objekten. Letzteres identifiziert Filmplakate, Prominente, Szenen, Sehenswürdigkeiten und Kunstwerke. Zu den kognitiven Fähigkeiten gehören gesundes Denken, numerische Berechnungen, Textübersetzung und Codeschlussfolgerung. Die Gesamtzahl der Unteraufgaben beträgt 14, wie in Abbildung 1 dargestellt.
2. Alle Befehl-Antwort-Paare in MME werden manuell erstellt. Für die wenigen verwendeten öffentlich zugänglichen Datensätze wurden nur deren Bilder verwendet, ohne sich auf ihre Originalanmerkungen zu verlassen. Gleichzeitig versuchen Forscher ihr Bestes, Daten durch manuelle Fotografie und Bilderzeugung zu sammeln.
3. MME-Anweisungen sind so prägnant wie möglich gestaltet, um die Auswirkungen von Prompt Engineering auf die Modellausgabe zu vermeiden. Die Forscher bekräftigen, dass ein gutes MLLM auf solch prägnante und häufig verwendete Anweisungen verallgemeinern sollte, was allen Modellen gerecht wird. Die Anweisungen für jede Unteraufgabe sind in Abbildung 1 dargestellt.
4. Dank des Befehlsdesigns „Bitte antworten Sie mit Ja oder Nein“ können quantitative Statistiken basierend auf der „Ja“- oder „Nein“-Ausgabe des Modells einfach durchgeführt werden. Diese Methode kann sowohl Genauigkeit als auch Objektivität gewährleisten. Es ist erwähnenswert, dass Forscher auch versucht haben, Anweisungen für Multiple-Choice-Fragen zu entwerfen, aber festgestellt haben, dass es im aktuellen MLLM immer noch schwierig ist, solch komplexere Anweisungen zu befolgen.
Forscher bewerteten insgesamt 12 fortgeschrittene MLLM-Modelle, darunter BLIP-2 [5], LLaVA [6], MiniGPT-4 [7], mPLUG-Owl [2], LLaMA-Adapter-v2 [8], Otter [9], Multimodal-GPT [10], InstructBLIP [11], VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] und LaVIN [15].
Unter ihnen gibt es drei statistische Indikatoren, darunter Genauigkeit, Genauigkeit+ und Punktzahl. Für jede Aufgabe basiert Accuracy auf Fragenstatistiken, Accuracy+ auf Bildstatistiken (beide Fragen zu den Bildern müssen richtig beantwortet werden) und Score ist die Summe von Accuracy und Accuracy+.
Die Gesamtbewertung der Wahrnehmung ist die Summe der Bewertungen von 10 Wahrnehmungsunteraufgaben, und die Gesamtbewertung der Wahrnehmung ist die Summe der Bewertungen von 4 kognitiven Aufgaben. Weitere Informationen finden Sie unter dem Projektlink.
Der Testvergleich von 12 Modellen zu 14 Teilaufgaben ist in Abbildung 2 dargestellt:
Abbildung 2. Vergleich von 12 Modellen zu 14 Teilaufgaben. Die Gesamtpunktzahl für jede Teilaufgabe beträgt 200 Punkte.
Außerdem wurden insgesamt 16 Listen veröffentlicht, darunter die Gesamtliste der Wahrnehmungs- und Kognitionskategorien und die Listen mit 14 Unteraufgaben. Die beiden Gesamtlisten sind in den Abbildungen 3 und 4 dargestellt. Es ist erwähnenswert, dass BLIP-2 und InstructBLIP in beiden Listen weiterhin unter den ersten drei stehen.
Bilder
Abbildung 3. Gesamtliste der Wahrnehmungsaufgaben
Abbildung 4. Gesamtliste der kognitiven Aufgaben
Abbildung 5. Alle Listen
In Darüber hinaus fassten die Forscher auch einige häufige Probleme zusammen, die das MLLM-Modell in Experimenten aufdeckt (siehe Abbildung 6), in der Hoffnung, Hinweise für die nachfolgende Modelloptimierung zu geben.
Bilder
Abbildung 6. Häufige Probleme, die durch MLLM aufgedeckt werden. [Y]/[N] bedeutet, dass die tatsächliche Antwort Ja/Nein ist. [R] ist die von MLLM generierte Antwort.
Das erste Problem besteht darin, den Anweisungen nicht zu folgen.
Obwohl ein sehr prägnantes Anleitungsdesign übernommen wurde, gibt es immer noch MLLMs, denen es freisteht, Fragen zu beantworten, anstatt Anweisungen zu befolgen.
Wie in der ersten Zeile von Abbildung 6 gezeigt, lautete die Anweisung „Bitte antworten Sie mit Ja oder Nein“, aber MLLM gab nur eine deklarative Antwort. Steht am Anfang der Antwort nicht „Ja“ oder „Nein“, wird die Antwort als falsch gewertet. Ein gutes MLLM sollte, insbesondere nach der Feinabstimmung der Anweisungen, in der Lage sein, auf solch einfache Anweisungen zu verallgemeinern.
Das zweite Problem ist die mangelnde Wahrnehmung.
Wie in der zweiten Zeile in Abbildung 6 dargestellt, hat MLLM die Anzahl der Bananen im ersten Bild und die Anzahl im zweiten Bild falsch identifiziert, was zu falschen Antworten führte. Die Forscher stellten außerdem fest, dass die Wahrnehmungsleistung durch Änderungen in den Anweisungen leicht beeinträchtigt wurde, da zwei Anweisungen für dasselbe Bild, die sich nur um ein Wort unterschieden, zu völlig unterschiedlichen Wahrnehmungsergebnissen führten.
Das dritte Problem ist mangelnde Denkfähigkeit.
Wie in der dritten Zeile von Abbildung 6 dargestellt, ist anhand des roten Textes zu erkennen, dass MLLM bereits weiß, dass es sich auf dem ersten Bild nicht um eine Bürofläche handelt, aber trotzdem eine falsche Antwort „Ja“ gegeben hat.
Ebenso hat MLLM im zweiten Bild das richtige Rechenergebnis berechnet, letztlich aber auch die falsche Antwort gegeben. Das Hinzufügen einer Denkanregung wie „Lass uns Schritt für Schritt denken“ kann zu besseren Ergebnissen führen. Ich freue mich auf eine eingehendere Forschung in diesem Bereich.
Die vierte Frage ist die Objektsicht, die dem Befehl folgt. Wie in der vierten Zeile von Abbildung 6 dargestellt, geht MLLM davon aus, dass das Objekt existiert, wenn die Anweisung ein Objekt enthält, das im Bild nicht vorhanden ist, und gibt schließlich eine „Ja“-Antwort.
Dieser Ansatz, immer mit „Ja“ zu antworten, führt zu einer Genauigkeit von nahezu 50 % und einer Genauigkeit+ von nahezu 0. Dies zeigt, wie wichtig es ist, Zielhalluzinationen zu unterdrücken, und erfordert auch weitere Überlegungen zur Zuverlässigkeit der von MLLM generierten Antworten.
Das obige ist der detaillierte Inhalt vonBLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Der Begriff "AI-fähige Belegschaft" wird häufig verwendet, aber was bedeutet das in der Lieferkettenindustrie wirklich? Nach Abe Eshkenazi, CEO des Association for Supply Chain Management (ASCM), bedeutet dies Fachkräfte, die kritisch sind

Die dezentrale KI -Revolution gewinnt leise an Dynamik. An diesem Freitag in Austin, Texas, markiert der Bittensor Endgame Summit einen entscheidenden Moment, in dem die dezentrale KI (DEAI) von Theorie zu praktischer Anwendung übergeht. Im Gegensatz zum glitzernden Werbespot

Enterprise KI steht vor der Datenintegrationsprobleme Die Anwendung von Enterprise KI steht vor einer großen Herausforderung: Aufbau von Systemen, die die Genauigkeit und Praktikabilität durch kontinuierlich lernende Geschäftsdaten aufrechterhalten können. NEMO Microservices lösen dieses Problem, indem er das erstellt, was NVIDIA als "Datenschwungrad" beschreibt und KI -Systemen durch kontinuierliche Exposition gegenüber Unternehmensinformationen und Benutzerinteraktion relevant bleibt. Dieses neu gestartete Toolkit enthält fünf wichtige Microservices: Nemo Customizer behandelt die Feinabstimmung großer Sprachmodelle mit höherem Trainingsdurchsatz. NEMO Evaluator bietet eine vereinfachte Bewertung von KI -Modellen für benutzerdefinierte Benchmarks. NEMO -Leitplanken implementiert Sicherheitskontrollen, um die Einhaltung und Angemessenheit aufrechtzuerhalten

AI: Die Zukunft von Kunst und Design Künstliche Intelligenz (KI) verändert das Kunst- und Designgebiet auf beispiellose Weise, und seine Auswirkungen beschränken sich nicht mehr auf Amateure, sondern beeinflussen jedoch die Fachkräfte. Kunstwerke und Designschemata, die von KI erzeugt wurden, ersetzen traditionelle materielle Bilder und Designer in vielen Transaktionsdesignaktivitäten wie Werbung, Social -Media -Bildgenerierung und Webdesign schnell. Professionelle Künstler und Designer finden jedoch auch den praktischen Wert von KI. Sie verwenden AI als Hilfsmittel, um neue ästhetische Möglichkeiten zu erforschen, verschiedene Stile zu mischen und neuartige visuelle Effekte zu erzeugen. KI hilft Künstlern und Designer, sich wiederholende Aufgaben zu automatisieren, verschiedene Designelemente vorzuschlagen und kreative Eingaben zu leisten. AI unterstützt den Stiltransfer, der einen Bildstil anwenden soll

Zoom, ursprünglich für seine Video -Konferenz -Plattform bekannt, führt eine Revolution am Arbeitsplatz mit der innovativen Nutzung der Agenten -KI. Ein aktuelles Gespräch mit Zooms CTO, XD Huang, enthüllte die ehrgeizige Vision des Unternehmens. Definieren von Agenten AI Huang d

Wird AI die Bildung revolutionieren? Diese Frage führt zu ernsthafter Reflexion unter Pädagogen und Stakeholdern. Die Integration von KI in Bildung bietet sowohl Chancen als auch Herausforderungen. Wie Matthew Lynch von The Tech Edvocate bemerkt, Universität

Die Entwicklung wissenschaftlicher Forschung und Technologie in den Vereinigten Staaten kann vor Herausforderungen stehen, möglicherweise aufgrund von Budgetkürzungen. Nach der Natur stieg die Zahl der amerikanischen Wissenschaftler, die sich für Arbeitsplätze in Übersee bewerben, von Januar bis März 2025 im Vergleich zum gleichen Zeitraum von 2024 um 32%. Eine frühere Umfrage ergab, dass 75% der untersuchten Forscher über die Suche nach Arbeitsplätzen in Europa und Kanada in Betracht gezogen wurden. In den letzten Monaten wurden Hunderte von NIH- und NSF-Zuschüssen beendet, wobei die neuen Zuschüsse von NIH in diesem Jahr um etwa 2,3 Milliarden US-Dollar gesunken sind, ein Rückgang von fast einem Drittel. Der durchgesickerte Haushaltsvorschlag zeigt, dass die Trump -Administration mit einer möglichen Reduzierung von um bis zu 50%ein starkes Budget für wissenschaftliche Institutionen in Betracht zieht. Die Turbulenzen auf dem Gebiet der Grundlagenforschung haben sich auch auf einen der Hauptvorteile der Vereinigten Staaten ausgewirkt: die Gewinnung von Talenten in Übersee. 35

OpenAI enthüllt die leistungsstarke GPT-4.1-Serie: eine Familie von drei fortschrittlichen Sprachmodellen für reale Anwendungen. Dieser signifikante Sprung nach vorne bietet schnellere Reaktionszeiten, verbessertes Verständnis und drastisch reduzierte Kosten im Vergleich t t


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

PHPStorm Mac-Version
Das neueste (2018.2.1) professionelle, integrierte PHP-Entwicklungstool

mPDF
mPDF ist eine PHP-Bibliothek, die PDF-Dateien aus UTF-8-codiertem HTML generieren kann. Der ursprüngliche Autor, Ian Back, hat mPDF geschrieben, um PDF-Dateien „on the fly“ von seiner Website auszugeben und verschiedene Sprachen zu verarbeiten. Es ist langsamer und erzeugt bei der Verwendung von Unicode-Schriftarten größere Dateien als Originalskripte wie HTML2FPDF, unterstützt aber CSS-Stile usw. und verfügt über viele Verbesserungen. Unterstützt fast alle Sprachen, einschließlich RTL (Arabisch und Hebräisch) und CJK (Chinesisch, Japanisch und Koreanisch). Unterstützt verschachtelte Elemente auf Blockebene (wie P, DIV),

MinGW – Minimalistisches GNU für Windows
Dieses Projekt wird derzeit auf osdn.net/projects/mingw migriert. Sie können uns dort weiterhin folgen. MinGW: Eine native Windows-Portierung der GNU Compiler Collection (GCC), frei verteilbare Importbibliotheken und Header-Dateien zum Erstellen nativer Windows-Anwendungen, einschließlich Erweiterungen der MSVC-Laufzeit zur Unterstützung der C99-Funktionalität. Die gesamte MinGW-Software kann auf 64-Bit-Windows-Plattformen ausgeführt werden.

MantisBT
Mantis ist ein einfach zu implementierendes webbasiertes Tool zur Fehlerverfolgung, das die Fehlerverfolgung von Produkten unterstützen soll. Es erfordert PHP, MySQL und einen Webserver. Schauen Sie sich unsere Demo- und Hosting-Services an.

EditPlus chinesische Crack-Version
Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion
