PixelLM, ein multimodales Byte-Großmodell, das das Denken auf Pixelebene ohne SA-Abhängigkeit effizient implementiert

Multimodale große Modelle explodieren. Sind Sie bereit für praktische Anwendungen in feinkörnigen Aufgaben wie Bildbearbeitung, autonomes Fahren und Robotik?

Derzeit beschränken sich die Fähigkeiten der meisten Modelle noch auf die Generierung von Textbeschreibungen des Gesamtbildes oder bestimmter Bereiche, und ihre Fähigkeiten zum Verständnis auf Pixelebene (z. B. Objektsegmentierung) sind relativ begrenzt.

Als Reaktion auf dieses Problem haben einige Arbeiten begonnen, um die Verwendung multimodaler großer Modelle zur Verarbeitung von Benutzersegmentierungsanweisungen zu untersuchen (z. B. „Bitte segmentieren Sie die an Vitamin C reichen Früchte im Bild“).

Allerdings haben die Methoden auf dem Markt zwei Hauptnachteile:

1) Unfähigkeit, Aufgaben mit mehreren Zielobjekten zu bewältigen, was in realen Szenarien unverzichtbar ist;

2) Sich auf Tools wie SAM verlassen Dank des trainierten Bildsegmentierungsmodells reicht der für eine Vorwärtsausbreitung von SAM erforderliche Rechenaufwand aus, damit Llama-7B mehr als 500 Token generieren kann.

Um dieses Problem zu lösen, hat sich das intelligente Kreationsteam von ByteDance mit Forschern der Beijing Jiaotong University und der University of Science and Technology Beijing zusammengetan, um PixelLM vorzuschlagen, das erste groß angelegte effiziente Inferenzmodell auf Pixelebene, das nicht auf SAM angewiesen ist.

Bevor wir es im Detail vorstellen, lassen Sie uns die tatsächlichen Segmentierungseffekte mehrerer Gruppen von PixelLM erleben:

Im Vergleich zu früheren Arbeiten sind die Vorteile von PixelLM:

• Es kann eine beliebige Anzahl offener Domänenziele und verschiedene komplexe Überlegungen gekonnt verarbeiten Aufgaben aufteilen.
• Vermeidung zusätzlicher und kostspieliger Segmentierungsmodelle, Verbesserung der Effizienz und Migrationsmöglichkeiten zu verschiedenen Anwendungen.

Um das Modelltraining und die Bewertung in diesem Forschungsbereich zu unterstützen, hat das Forschungsteam außerdem einen MUSE-Datensatz für Segmentierungsszenarien mit mehreren Zielen erstellt, der auf dem LVIS-Datensatz und GPT-4V basiert. Er enthält 200.000 Frage-Antwort-Paare, die mehr als 900.000 Instanzsegmentierungsmasken umfassen.

Wie wurde diese Forschung durchgeführt, um die oben genannten Effekte zu erzielen?

Das Prinzip hinter

Pictures

Wie im Rahmendiagramm im Artikel gezeigt, ist die PixelLM-Architektur sehr einfach und besteht aus vier Hauptteilen:

1. Pre- trainierter CLIP-ViT-Vision-Encoder
2. Großes Sprachmodell
3. Leichter Pixeldecoder
4. Segmentcodetabelle Seg-Codebuch

Seg-Codebuch enthält lernbare Token, die zum Codieren von Zielinformationen in verschiedenen Maßstäben von CLIP-ViT verwendet werden. Anschließend generiert der Pixeldecoder Objektsegmentierungsergebnisse basierend auf diesen Token und den Bildfunktionen von CLIP-ViT. Dank dieses Designs kann PixelLM qualitativ hochwertige Segmentierungsergebnisse ohne ein externes Segmentierungsmodell generieren, was die Modelleffizienz erheblich verbessert.

Laut der Beschreibung des Forschers können die Token im Seg-Codebuch in L Gruppen unterteilt werden, jede Gruppe enthält N Token und jede Gruppe entspricht einer Skala aus den visuellen Funktionen von CLIP-ViT.

Für das Eingabebild extrahiert PixelLM Merkmale im L-Maßstab aus den vom visuellen CLIP-ViT-Encoder erzeugten Bildmerkmalen. Die letzte Ebene deckt die globalen Bildinformationen ab und wird von LLM verwendet, um den Bildinhalt zu verstehen.

Die Token des Seg-Codebuchs werden zusammen mit den Textanweisungen und der letzten Ebene der Bildfunktionen in das LLM eingegeben, um eine Ausgabe in Form einer Autoregression zu erzeugen. Die Ausgabe umfasst auch die von LLM verarbeiteten Seg-Codebuch-Token, die zusammen mit den CLIP-ViT-Funktionen im L-Maßstab in den Pixeldecoder eingegeben werden, um das endgültige Segmentierungsergebnis zu erzeugen.

Bilder

Bilder

Warum müssen wir also jede Gruppe so einstellen, dass sie N Token enthält? Die Forscher erklärten in Verbindung mit der folgenden Abbildung:

In Szenarien mit mehreren Zielen oder wenn die in den Zielen enthaltene Semantik sehr komplex ist, kann LLM zwar eine detaillierte Textantwort bereitstellen, die Verwendung nur eines einzigen Tokens kann jedoch möglicherweise nicht die gesamte Zielsemantik vollständig erfassen Inhalt.

Um die Fähigkeit des Modells in komplexen Argumentationsszenarien zu verbessern, führten die Forscher mehrere Token innerhalb jeder Skalengruppe ein und führten eine lineare Fusionsoperation eines Tokens durch. Bevor der Token an den Decoder übergeben wird, wird eine lineare Projektionsschicht verwendet, um die Token innerhalb jeder Gruppe zusammenzuführen.

Das Bild unten zeigt den Effekt, wenn in jeder Gruppe mehrere Token vorhanden sind. Die Aufmerksamkeitskarte zeigt, wie jedes Token aussieht, nachdem es vom Decoder verarbeitet wurde. Diese Visualisierung zeigt, dass mehrere Token einzigartige und komplementäre Informationen liefern, was zu einer effektiveren Segmentierungsausgabe führt.

Bilder

Um die Fähigkeit des Modells zur Unterscheidung mehrerer Ziele zu verbessern, hat PixelLM außerdem einen zusätzlichen Zielverfeinerungsverlust entwickelt.

MUSE-Datensatz

Obwohl die oben genannten Lösungen vorgeschlagen wurden, benötigt das Modell dennoch geeignete Trainingsdaten, um die Fähigkeiten des Modells vollständig auszunutzen. Bei der Durchsicht derzeit verfügbarer öffentlicher Datensätze stellen wir fest, dass die vorhandenen Daten die folgenden wesentlichen Einschränkungen aufweisen:

1) Unzureichende Beschreibung von Objektdetails
2) Fehlen von Frage-Antwort-Paaren mit komplexer Begründung und unterschiedlichen Zielzahlen.

Um diese Probleme zu lösen, nutzte das Forschungsteam GPT-4V zum Aufbau einer automatisierten Datenannotationspipeline und generierte so den MUSE-Datensatz. Die folgende Abbildung zeigt ein Beispiel der Eingabeaufforderungen, die beim Generieren von MUSE verwendet werden, und der generierten Daten.

Bilder

In MUSE stammen alle Instanzmasken aus dem LVIS-Datensatz und zusätzlich werden detaillierte Textbeschreibungen hinzugefügt, die auf Basis des Bildinhalts generiert werden. MUSE enthält 246.000 Frage-Antwort-Paare, und jedes Frage-Antwort-Paar umfasst durchschnittlich 3,7 Zielobjekte. Darüber hinaus führte das Forschungsteam eine umfassende statistische Analyse des Datensatzes durch:

Kategoriestatistik: Es gibt mehr als 1000 Kategorien in MUSE aus dem ursprünglichen LVIS-Datensatz, und 900.000 Instanzen mit eindeutigen Beschreibungen basierend auf Frage-Antwort-Paaren variieren je nach Kontext. Abbildung (a) zeigt die Anzahl der Instanzen jeder Kategorie über alle Frage-Antwort-Paare hinweg.

Statistik der Token-Anzahl: Abbildung (b) zeigt die Verteilung der Anzahl der in den Beispielen beschriebenen Token, von denen einige mehr als 100 Token enthalten. Diese Beschreibungen beschränken sich nicht auf einfache Kategorienamen, sondern werden durch einen GPT-4V-basierten Datengenerierungsprozess mit detaillierten Informationen zu jeder Instanz angereichert, einschließlich Aussehen, Eigenschaften und Beziehungen zu anderen Objekten. Die Tiefe und Vielfalt der Informationen im Datensatz verbessert die Generalisierungsfähigkeit des trainierten Modells und ermöglicht es ihm, offene Domänenprobleme effektiv zu lösen.

Zielanzahlstatistik: Abbildung (c) zeigt die Statistik der Anzahl der Ziele für jedes Frage-Antwort-Paar. Die durchschnittliche Anzahl der Ziele beträgt 3,7 und die maximale Anzahl der Ziele kann 34 erreichen. Diese Zahl kann die meisten Zielinferenzszenarien für ein einzelnes Bild abdecken.

Algorithmusbewertung

Das Forschungsteam bewertete die Leistung von PixelLM anhand von drei Benchmarks, darunter dem MUSE-Benchmark, dem Referenzsegmentierungs-Benchmark und dem Multi-Referring-Segmentierungs-Benchmark. Im Multi-Referring-Segmentierungs-Benchmark verlangt das Forschungsteam, dass das Modell vorhanden ist Ein Problem: Segmentieren Sie kontinuierlich mehrere in jedem Bild enthaltene Objekte im Referenzsegmentierungs-Benchmark.

Da PixelLM das erste Modell ist, das komplexe Pixel-Argumentation-Aufgaben mit mehreren Zielen bewältigen kann, hat das Forschungsteam gleichzeitig vier Basislinien zur Durchführung einer vergleichenden Analyse der Modelle festgelegt.

Drei der Basislinien basieren auf LISA, der relevantesten Arbeit auf PixelLM, darunter:

1) Original-LISA;

2) LISA_rec: Geben Sie zuerst die Frage in LLAVA-13B ein, um die Textantwort des Ziels zu erhalten, und dann Verwenden Sie LISA, um den Text zu segmentieren ;

3) LISA_aug: Fügen Sie MUSE direkt zu den Trainingsdaten von LISA hinzu.

4) Das andere ist SEEM, ein allgemeines Segmentierungsmodell, das kein LLM verwendet.

Bilder

Bei den meisten Indikatoren der drei Benchmarks ist die Leistung von PixelLM besser als bei anderen Methoden, und da PixelLM nicht auf SAM angewiesen ist, sind seine TFLOPs weitaus niedriger als bei Modellen gleicher Größe.

Interessierte Freunde können zuerst aufpassen und warten, bis der Code Open Source ist~

Referenzlink:
[1]https://www.php.cn/link/9271858951e6fe9504d1f05ae8576001
[2]https:/ /www.php.cn/link/f1686b4badcf28d33ed632036c7ab0b8

Das obige ist der detaillierte Inhalt vonPixelLM, ein multimodales Byte-Großmodell, das das Denken auf Pixelebene ohne SA-Abhängigkeit effizient implementiert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!