suchen
HeimTechnologie-PeripheriegeräteKIBLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells'

Das Multimodal Large Language Model (MLLM) stützt sich auf den umfangreichen Wissensvorrat und die leistungsstarken Argumentations- und Generalisierungsfähigkeiten von LLM, um multimodale Probleme zu lösen, wie z. B. das Betrachten von Bildern und das Betrachten von Bildern und das Schreiben von Code.

Aber es ist schwierig, die Leistung von MLLM allein anhand dieser Beispiele vollständig darzustellen, und es mangelt immer noch an einer umfassenden Bewertung von MLLM.

Zu diesem Zweck führten Tencent Youtu Lab und die Universität Xiamen erstmals eine umfassende quantitative Bewertung von 12 bestehenden Open-Source-MLLM-Modellen auf dem neu erstellten Bewertungsbenchmark MM durch und veröffentlichten 16 Rankings, darunter sowohl die Wahrnehmungs- als auch die Kognitions-Gesamtliste und 14 Unterlisten:

BLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells

Papierlink: https://arxiv.org/pdf/2306.13394.pdf

Projektlink: https://github.com/BradyFU/Awesome -Multimodal- Large-Language-Models/tree/Evaluation

Die bestehenden quantitativen Bewertungsmethoden von MLLM sind hauptsächlich in drei Kategorien unterteilt, aber alle weisen gewisse Einschränkungen auf, die es schwierig machen, ihre Leistung vollständig abzubilden.

Die erste Kategorie von Methoden wird anhand traditioneller öffentlicher Datensätze evaluiert, z. B. Bildunterschriften und VQA-Datensätzen (Visual Question Answering).

Aber einerseits sind diese traditionellen Datensätze möglicherweise nicht in der Lage, die neuen Fähigkeiten widerzuspiegeln, die sich aus MLLM ergeben. Andererseits ist dies schwierig, da die Trainingssätze im Zeitalter der großen Modelle nicht mehr einheitlich sind garantieren, dass diese Bewertungsdatensätze nicht von anderen MLLMs trainiert wurden.

Die zweite Möglichkeit besteht darin, neue Daten zur offenen Auswertung zu sammeln, diese Daten sind jedoch entweder nicht öffentlich [1] oder die Anzahl ist zu gering (nur 50 Bilder) [2].

Die dritte Methode konzentriert sich auf einen bestimmten Aspekt von MLLM, wie z. B. Objekthalluzination [3] oder gegnerische Robustheit [4], und kann nicht vollständig bewertet werden.

Es besteht dringender Bedarf an einem umfassenden Bewertungsmaßstab, der der rasanten Entwicklung von MLLM gerecht wird. Forscher glauben, dass ein universeller umfassender Bewertungsmaßstab die folgenden Merkmale aufweisen sollte:

(1) Er sollte einen möglichst großen Bereich abdecken, einschließlich Wahrnehmung und kognitiven Fähigkeiten. Ersteres bezieht sich auf die Identifizierung von Objekten, einschließlich ihrer Existenz, Menge, Position und Farbe. Letzteres bezieht sich auf die Integration sensorischer Informationen und Wissen im LLM, um komplexere Überlegungen anzustellen. Ersteres ist die Grundlage für Letzteres.

(2) Daten oder Anmerkungen sollten die Verwendung vorhandener öffentlicher Datensätze so weit wie möglich vermeiden, um das Risiko von Datenlecks zu verringern.

(3) Anweisungen sollten so prägnant wie möglich sein und mit den kognitiven Gewohnheiten des Menschen übereinstimmen. Unterschiedliche Befehlsdesigns können die Ausgabe des Modells stark beeinflussen, alle Modelle werden jedoch anhand einheitlicher und prägnanter Anweisungen bewertet, um Fairness zu gewährleisten. Ein gutes MLLM-Modell sollte in der Lage sein, solche präzisen Anweisungen zu verallgemeinern, um nicht in die Prompt-Engineering-Ära zu verfallen.

(4) Die Ausgabe von MLLM im Rahmen dieser prägnanten Anleitung sollte für quantitative Statistiken intuitiv und praktisch sein. Die offenen Antworten des MLLM stellen die quantitative Statistik vor große Herausforderungen. Bestehende Methoden verwenden in der Regel GPT oder manuelles Scoring, können jedoch mit Problemen der Ungenauigkeit und Subjektivität konfrontiert sein.

BLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells

Abbildung 1. Beispiel für einen MME-Bewertungsbenchmark. Jedes Bild entspricht zwei Fragen und die Antworten lauten Ja[J] bzw. Nein[N]. Die Frage und „Bitte antworten Sie mit Ja oder Nein“ bilden zusammen den Befehl.

Basierend auf den oben genannten Gründen wurde ein neuer MLLM-Bewertungsbenchmark MME erstellt, der gleichzeitig die oben genannten vier Merkmale aufweist:

1. MME bewertet gleichzeitig Wahrnehmung und kognitive Fähigkeiten. Zusätzlich zur OCR umfassen die Erfassungsfunktionen eine grobkörnige und feinkörnige Zielerkennung. Ersteres identifiziert das Vorhandensein, die Menge, den Ort und die Farbe von Objekten. Letzteres identifiziert Filmplakate, Prominente, Szenen, Sehenswürdigkeiten und Kunstwerke. Zu den kognitiven Fähigkeiten gehören gesundes Denken, numerische Berechnungen, Textübersetzung und Codeschlussfolgerung. Die Gesamtzahl der Unteraufgaben beträgt 14, wie in Abbildung 1 dargestellt.

2. Alle Befehl-Antwort-Paare in MME werden manuell erstellt. Für die wenigen verwendeten öffentlich zugänglichen Datensätze wurden nur deren Bilder verwendet, ohne sich auf ihre Originalanmerkungen zu verlassen. Gleichzeitig versuchen Forscher ihr Bestes, Daten durch manuelle Fotografie und Bilderzeugung zu sammeln.

3. MME-Anweisungen sind so prägnant wie möglich gestaltet, um die Auswirkungen von Prompt Engineering auf die Modellausgabe zu vermeiden. Die Forscher bekräftigen, dass ein gutes MLLM auf solch prägnante und häufig verwendete Anweisungen verallgemeinern sollte, was allen Modellen gerecht wird. Die Anweisungen für jede Unteraufgabe sind in Abbildung 1 dargestellt.

4. Dank des Befehlsdesigns „Bitte antworten Sie mit Ja oder Nein“ können quantitative Statistiken basierend auf der „Ja“- oder „Nein“-Ausgabe des Modells einfach durchgeführt werden. Diese Methode kann sowohl Genauigkeit als auch Objektivität gewährleisten. Es ist erwähnenswert, dass Forscher auch versucht haben, Anweisungen für Multiple-Choice-Fragen zu entwerfen, aber festgestellt haben, dass es im aktuellen MLLM immer noch schwierig ist, solch komplexere Anweisungen zu befolgen.

Forscher bewerteten insgesamt 12 fortgeschrittene MLLM-Modelle, darunter BLIP-2 [5], LLaVA [6], MiniGPT-4 [7], mPLUG-Owl [2], LLaMA-Adapter-v2 [8], Otter [9], Multimodal-GPT [10], InstructBLIP [11], VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] und LaVIN [15].

Unter ihnen gibt es drei statistische Indikatoren, darunter Genauigkeit, Genauigkeit+ und Punktzahl. Für jede Aufgabe basiert Accuracy auf Fragenstatistiken, Accuracy+ auf Bildstatistiken (beide Fragen zu den Bildern müssen richtig beantwortet werden) und Score ist die Summe von Accuracy und Accuracy+.

Die Gesamtbewertung der Wahrnehmung ist die Summe der Bewertungen von 10 Wahrnehmungsunteraufgaben, und die Gesamtbewertung der Wahrnehmung ist die Summe der Bewertungen von 4 kognitiven Aufgaben. Weitere Informationen finden Sie unter dem Projektlink.

Der Testvergleich von 12 Modellen zu 14 Teilaufgaben ist in Abbildung 2 dargestellt:

BLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells

Abbildung 2. Vergleich von 12 Modellen zu 14 Teilaufgaben. Die Gesamtpunktzahl für jede Teilaufgabe beträgt 200 Punkte.

Außerdem wurden insgesamt 16 Listen veröffentlicht, darunter die Gesamtliste der Wahrnehmungs- und Kognitionskategorien und die Listen mit 14 Unteraufgaben. Die beiden Gesamtlisten sind in den Abbildungen 3 und 4 dargestellt. Es ist erwähnenswert, dass BLIP-2 und InstructBLIP in beiden Listen weiterhin unter den ersten drei stehen.

BLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen SprachmodellsBilder

Abbildung 3. Gesamtliste der Wahrnehmungsaufgaben

BLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells

Abbildung 4. Gesamtliste der kognitiven Aufgaben

BLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells

Abbildung 5. Alle Listen

In Darüber hinaus fassten die Forscher auch einige häufige Probleme zusammen, die das MLLM-Modell in Experimenten aufdeckt (siehe Abbildung 6), in der Hoffnung, Hinweise für die nachfolgende Modelloptimierung zu geben.

BLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen SprachmodellsBilder

Abbildung 6. Häufige Probleme, die durch MLLM aufgedeckt werden. [Y]/[N] bedeutet, dass die tatsächliche Antwort Ja/Nein ist. [R] ist die von MLLM generierte Antwort.

Das erste Problem besteht darin, den Anweisungen nicht zu folgen.

Obwohl ein sehr prägnantes Anleitungsdesign übernommen wurde, gibt es immer noch MLLMs, denen es freisteht, Fragen zu beantworten, anstatt Anweisungen zu befolgen.

Wie in der ersten Zeile von Abbildung 6 gezeigt, lautete die Anweisung „Bitte antworten Sie mit Ja oder Nein“, aber MLLM gab nur eine deklarative Antwort. Steht am Anfang der Antwort nicht „Ja“ oder „Nein“, wird die Antwort als falsch gewertet. Ein gutes MLLM sollte, insbesondere nach der Feinabstimmung der Anweisungen, in der Lage sein, auf solch einfache Anweisungen zu verallgemeinern.

Das zweite Problem ist die mangelnde Wahrnehmung.

Wie in der zweiten Zeile in Abbildung 6 dargestellt, hat MLLM die Anzahl der Bananen im ersten Bild und die Anzahl im zweiten Bild falsch identifiziert, was zu falschen Antworten führte. Die Forscher stellten außerdem fest, dass die Wahrnehmungsleistung durch Änderungen in den Anweisungen leicht beeinträchtigt wurde, da zwei Anweisungen für dasselbe Bild, die sich nur um ein Wort unterschieden, zu völlig unterschiedlichen Wahrnehmungsergebnissen führten.

Das dritte Problem ist mangelnde Denkfähigkeit.

Wie in der dritten Zeile von Abbildung 6 dargestellt, ist anhand des roten Textes zu erkennen, dass MLLM bereits weiß, dass es sich auf dem ersten Bild nicht um eine Bürofläche handelt, aber trotzdem eine falsche Antwort „Ja“ gegeben hat.

Ebenso hat MLLM im zweiten Bild das richtige Rechenergebnis berechnet, letztlich aber auch die falsche Antwort gegeben. Das Hinzufügen einer Denkanregung wie „Lass uns Schritt für Schritt denken“ kann zu besseren Ergebnissen führen. Ich freue mich auf eine eingehendere Forschung in diesem Bereich.

Die vierte Frage ist die Objektsicht, die dem Befehl folgt. Wie in der vierten Zeile von Abbildung 6 dargestellt, geht MLLM davon aus, dass das Objekt existiert, wenn die Anweisung ein Objekt enthält, das im Bild nicht vorhanden ist, und gibt schließlich eine „Ja“-Antwort.

Dieser Ansatz, immer mit „Ja“ zu antworten, führt zu einer Genauigkeit von nahezu 50 % und einer Genauigkeit+ von nahezu 0. Dies zeigt, wie wichtig es ist, Zielhalluzinationen zu unterdrücken, und erfordert auch weitere Überlegungen zur Zuverlässigkeit der von MLLM generierten Antworten.

Das obige ist der detaillierte Inhalt vonBLIP-2 und InstructBLIP sind fest unter den ersten drei! Zwölf Hauptmodelle, sechzehn Listen, umfassende Bewertung des „multimodalen großen Sprachmodells'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Fine-Tune Open-Source-LLMs unter Verwendung von Lamini-Analytics VidhyaFine-Tune Open-Source-LLMs unter Verwendung von Lamini-Analytics VidhyaApr 12, 2025 am 10:20 AM

Vor kurzem haben wir mit dem Aufkommen großer Sprachmodelle und KI unzähliger Fortschritte bei der Verarbeitung natürlicher Sprache verzeichnet. Modelle in Domänen wie Text, Code und Bild-/Videogenerierung haben menschenähnliche Argumentation und p archiviert

Geschlechtserkennung mit OpenCV und Roboflow in Python - Analytics VidhyaGeschlechtserkennung mit OpenCV und Roboflow in Python - Analytics VidhyaApr 12, 2025 am 10:19 AM

Einführung Die Erkennung der Geschlechter aus Gesichtsbildern ist eine der vielen faszinierenden Anwendungen von Computer Vision. In diesem Projekt kombinieren wir OpenCV für den Standort und die Roboflow -API für die Klassifizierung der Geschlechter und machen a

Welche Rolle spielt die generative KI bei der Personalisierung von Anzeigeninhalten?Welche Rolle spielt die generative KI bei der Personalisierung von Anzeigeninhalten?Apr 12, 2025 am 10:18 AM

Einführung Die Welt der Werbung wurde seit der Konzeption des Tauschhandels in Evolution in Evolution. Werbetreibende haben kreative Wege gefunden, um ihre Produkte aufmerksam zu machen. Im gegenwärtigen Alter erwarten die Verbraucher BR

OpenAI ' S O1-Präview gegen O1-Mini: Ein Schritt nach vorne auf AgiOpenAI ' S O1-Präview gegen O1-Mini: Ein Schritt nach vorne auf AgiApr 12, 2025 am 10:04 AM

Einführung Am 12. September veröffentlichte OpenAI ein Update mit dem Titel „Lernen zu Grund mit LLMs“. Sie stellten das O1 -Modell ein, das mit Verstärkungslernen geschult wird, um komplexe Argumentationsaufgaben anzugehen. Was setzt diesen Mod

Wie baue ich Spiele mit OpenAI O1? - Analytics VidhyaWie baue ich Spiele mit OpenAI O1? - Analytics VidhyaApr 12, 2025 am 10:03 AM

Einführung Die OpenAI O1-Modellfamilie fördert die Argumentation von Macht und Wirtschaftsleistung erheblich, insbesondere in Wissenschaft, Kodierung und Problemlösung. Das Ziel von OpenAI ist es, immer wiederherstellte KI- und O1-Modelle zu erstellen

Beliebte LLM -Agenten -Tools für das KundenabfragemanagementBeliebte LLM -Agenten -Tools für das KundenabfragemanagementApr 12, 2025 am 10:01 AM

Einführung Heute bewegt sich die Welt des Kundenanfragungsmanagements in einem beispiellosen Tempo, wobei jeden Tag neue Tools Schlagzeilen machen. LLM -Agenten des großen Sprachmodells sind die neueste Innovation in diesem Zusammenhang und steigern Cu

100 -tägige Generative KI -Implementierungsplan für Unternehmen100 -tägige Generative KI -Implementierungsplan für UnternehmenApr 12, 2025 am 09:56 AM

Einführung Die Einführung generativer KI kann für jedes Unternehmen eine transformative Reise sein. Der Prozess der Genai -Implementierung kann jedoch häufig umständlich und verwirrend sein. Rajendra Singh Pawar, Vorsitzender und Mitbegründer von Niit Lim

Pixtral 12b gegen Qwen2-VL-72BPixtral 12b gegen Qwen2-VL-72BApr 12, 2025 am 09:52 AM

Einführung Die KI-Revolution hat zu einer neuen Ära der Kreativität geführt, in der Text-zu-Image-Modelle die Schnittstelle von Kunst, Design und Technologie neu definieren. Pixtral 12b und Qwen2-VL-72B sind zwei Pionierkräfte Drivin

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Herunterladen der Mac-Version des Atom-Editors

Herunterladen der Mac-Version des Atom-Editors

Der beliebteste Open-Source-Editor

SecLists

SecLists

SecLists ist der ultimative Begleiter für Sicherheitstester. Dabei handelt es sich um eine Sammlung verschiedener Arten von Listen, die häufig bei Sicherheitsbewertungen verwendet werden, an einem Ort. SecLists trägt dazu bei, Sicherheitstests effizienter und produktiver zu gestalten, indem es bequem alle Listen bereitstellt, die ein Sicherheitstester benötigen könnte. Zu den Listentypen gehören Benutzernamen, Passwörter, URLs, Fuzzing-Payloads, Muster für vertrauliche Daten, Web-Shells und mehr. Der Tester kann dieses Repository einfach auf einen neuen Testcomputer übertragen und hat dann Zugriff auf alle Arten von Listen, die er benötigt.

DVWA

DVWA

Damn Vulnerable Web App (DVWA) ist eine PHP/MySQL-Webanwendung, die sehr anfällig ist. Seine Hauptziele bestehen darin, Sicherheitsexperten dabei zu helfen, ihre Fähigkeiten und Tools in einem rechtlichen Umfeld zu testen, Webentwicklern dabei zu helfen, den Prozess der Sicherung von Webanwendungen besser zu verstehen, und Lehrern/Schülern dabei zu helfen, in einer Unterrichtsumgebung Webanwendungen zu lehren/lernen Sicherheit. Das Ziel von DVWA besteht darin, einige der häufigsten Web-Schwachstellen über eine einfache und unkomplizierte Benutzeroberfläche mit unterschiedlichen Schwierigkeitsgraden zu üben. Bitte beachten Sie, dass diese Software

SublimeText3 Linux neue Version

SublimeText3 Linux neue Version

SublimeText3 Linux neueste Version

EditPlus chinesische Crack-Version

EditPlus chinesische Crack-Version

Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion