CVPR 2024 |. Tsinghua & Bosch sind gut darin, komplexe Szenen und Sprachausdrücke zu verarbeiten, und schlugen eine neue Instanzsegmentierungsnetzwerkarchitektur MagNet vor

Die AIxiv-Kolumne ist eine Kolumne, in der akademische und technische Inhalte auf dieser Website veröffentlicht werden. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail-Adresse: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com.

Referring Image Segmentation (RIS) ist eine sehr anspruchsvolle multimodale Aufgabe, die Algorithmen erfordert, um gleichzeitig feine menschliche Sprache und visuelle Bildinformationen zu verstehen und Sätze im Bild zu klassifizieren Pixelebene. Durchbrüche in der RIS-Technologie werden voraussichtlich revolutionäre Veränderungen in vielen Bereichen wie der Mensch-Computer-Interaktion, der Bildbearbeitung und dem autonomen Fahren mit sich bringen. Es kann die Effizienz und Erfahrung der Mensch-Maschine-Zusammenarbeit erheblich verbessern. Obwohl die aktuellen hochmodernen RIS-Algorithmen erhebliche Fortschritte gemacht haben, stehen sie immer noch vor dem Problem der Modalitätslücke, das heißt, die Verteilung von Bild- und Textmerkmalen ist nicht vollständig aufeinander abgestimmt. Dieses Problem ist besonders akut, wenn es um komplexe referenzielle Sprachausdrücke und seltene Kontexte geht.

^{Abbildung 1: Schematische Darstellung der Bedeutung feinkörniger Sprach-Bild-Ausrichtungsfunktionen für RIS. Die rote Maske ist das Vorhersageergebnis von LAVT, einem der derzeit fortschrittlichsten RIS-Algorithmen, und das gelbe gestrichelte Kästchen ist die korrekte Anmerkung.}

Die aktuelle RIS-Forschung konzentriert sich hauptsächlich auf den Entwurf neuartiger Verlustfunktionen oder die Einführung innovativer Netzwerkarchitekturen/-module, um die Ausrichtung der Sprach-Bild-Verteilung zu verbessern. Trotz erheblicher Fortschritte gibt es immer noch zwei grundlegende Probleme, die zu ihrer Unzulänglichkeit bei der feinkörnigen visuellen Erdung führen:

1 Diese Methoden basieren hauptsächlich auf der Satzebene. Die Sprachfunktionen führen eine Sprach-Bild-Ausrichtung durch, was zu ihrer Schwachstelle führt Fähigkeit zur Sprach-Bild-Ausrichtung auf Textebene.

2. Diesen Methoden fehlen häufig explizite Überwachungssignale während des Trainingsprozesses und sie können dem Modell nicht effektiv beibringen, eine feinkörnige Ausrichtung durchzuführen, was zu einer schlechten Leistung bei der Verarbeitung komplexer Referenzsprachen führt.法 Abbildung 2: Die Mängel des bestehenden Algorithmus

^{In einer aktuellen CVPR 2024-Arbeit hat das gemeinsame Forschungsteam der Abteilung für Automatisierung der Tsinghua-Universität und des Bosch Central Research Institute eine neue Hilfsaufgabe Mask Grounding entworfen . Diese Aufgabe zielt darauf ab, dem Modell explizit beizubringen, feinkörnige Korrespondenzen zwischen Text und visuellen Objekten zu lernen, indem Teile von Textwörtern zufällig maskiert werden und der Algorithmus lernen kann, ihre wahre Identität vorherzusagen. Darüber hinaus schlugen sie ein neuartiges modalübergreifendes Ausrichtungsmodul und eine neuartige modalübergreifende Ausrichtungsverlustfunktion (Cross-modal Alignment Loss) vor, um die Lücke zwischen Sprache und Bildern weiter umfassend zu verringern. Basierend auf diesen Technologien entwickelten sie eine neue Netzwerkarchitektur zur Instanzsegmentierung, das Mask-Grounded Network (MagNet).}

Papiertitel: Mask Grounding for Referring Image Segmentation

Papieradresse: https://arxiv.org/abs/2312.12198

• In RefCOCO, RefCOCO + -Ref Mit dem Datensatz übertraf MagNet alle bisherigen optimalen Algorithmen deutlich und verbesserte den Kernindikator des gesamten Schnittmengen-zu-Union-Verhältnisses (oIoU) deutlich um 2,48 Prozentpunkte. Die Visualisierungsergebnisse bestätigen auch, dass MagNet eine hervorragende Leistung bei der Verarbeitung komplexer Szenen und Sprachausdrücke aufweist.

Methode

MagNet besteht aus 3 unabhängigen und komplementären Modulen, nämlich Mask Grounding, Cross-modal Alignment Module und Cross-modal Alignment Loss.

1.Erdung maskieren

^{Abbildung 3: Mask -Erdungsflussdiagramm}

Maske

Wie in Abbildung 3 gezeigt, wählt der Autor bei der Eingabebild, dem entsprechenden Referenzausdruck und der Segmentierungsmaske, einige der Sätze Vokabular nach dem Zufallsprinzip aus und ersetzen Sie es durch ein spezieller erlernbarer Masken-Token. Das Modell wird dann trainiert, um die tatsächliche Identität dieser ersetzten Wörter vorherzusagen. Durch die erfolgreiche Vorhersage der Identität des maskierten Tokens ist das Modell in der Lage zu verstehen, welche Wörter im Text welchen Teilen des Bildes entsprechen, und erlernt dabei feinkörnige Sprach-Bild-Ausrichtungsfunktionen. Um diese Hilfsaufgabe auszuführen, werden zunächst die Mittelpunktskoordinaten des Maskenbereichs extrahiert und an einen zweischichtigen MLP übergeben, um die Merkmale der Segmentierungsmaske zu kodieren. Gleichzeitig wird eine lineare Ebene verwendet, um die Sprachmerkmale auf die gleichen Abmessungen wie die Bildmerkmale abzubilden. Anschließend werden diese Merkmale mithilfe des vorgeschlagenen Masken-Token-Prädiktors gemeinsam verarbeitet, und das Aufmerksamkeitsmechanismusmodul wird für die Masken-Token-Vorhersage verwendet. Obwohl Mask Grounding einen zusätzlichen Vorwärtsdurchlauf durch den Sprachcodierer erfordert, um die maskierten Ausdrücke zu verarbeiten, ist der Gesamtrechenaufwand nahezu vernachlässigbar, da der Sprachcodierer so klein ist. Cross-modal Alignment Module (CAM)

^{Wie in Abbildung 4 dargestellt, schlugen die Autoren zur weiteren Verbesserung der Modellleistung auch ein Cross-modal Alignment Module (CAM) vor, um den Sprach-Bild-Ausrichtungseffekt zu verbessern indem vorab globaler Kontext in Bildmerkmale eingefügt wird, bevor die Sprach-Bild-Fusion durchgeführt wird. CAM generiert zunächst K-Feature-Maps unterschiedlicher Pyramidenskalen mithilfe von Pooling-Operationen mit unterschiedlichen Fenstergrößen. Anschließend wird jede Feature-Map durch einen dreischichtigen MLP geleitet, um globale Informationen besser zu extrahieren, und führt eine Kreuzaufmerksamkeitsoperation mit einer anderen Modalität durch. Als nächstes werden alle Ausgabe-Features durch bilineare Interpolation auf die ursprüngliche Feature-Map-Größe hochgesampelt und in der Kanaldimension verkettet. Anschließend wird ein 2-Layer-MLP verwendet, um die Anzahl der verketteten Feature-Kanäle wieder auf die ursprünglichen Abmessungen zu reduzieren. Um zu verhindern, dass multimodale Signale das ursprüngliche Signal überlagern, wird eine Gated-Einheit mit Tanh-Nichtlinearität verwendet, um die endgültige Ausgabe zu modulieren. Schließlich wird diese Gated-Funktion wieder zu den Eingabefunktionen hinzugefügt und an die nächste Stufe des Bild- oder Sprachcodierers übergeben. In der Implementierung der Autoren wird CAM am Ende jeder Stufe der Bild- und Sprachencoder hinzugefügt.}

3. Cross-modal Alignment Loss (CAL)

                                 Formel

^{Um das Modell zur Ausrichtung von Sprach- und Bildfunktionen zu überwachen, hat Autor A Es wird eine neuartige modalübergreifende Alignment-Loss-Funktion (CAL) vorgeschlagen. Abbildung 5 zeigt die mathematische Formel dieser Verlustfunktion. Im Gegensatz zu früheren Arbeiten berücksichtigt CAL sowohl die Ausrichtung von Pixel zu Pixel (P2P) als auch von Pixel zu Text (P2T). Eine genaue Pixel-zu-Pixel-Ausrichtung stellt sicher, dass das Modell Segmentierungsmasken mit genauen Formen und Grenzen segmentieren und ausgeben kann, während eine genaue Pixel-zu-Text-Ausrichtung es dem Modell ermöglicht, Textbeschreibungen korrekt den Bildbereichen zuzuordnen, mit denen sie übereinstimmen.}

Experimente

In Tabelle 1 verwendet der Autor die oIoU-Metrik, um MagNet zu bewerten und seine Leistung mit vorhandenen hochmodernen Algorithmen zu vergleichen. Die Testdaten sind RefCOCO, RefCOCO + und G-Ref. Sowohl in den Einstellungen für einzelne als auch für mehrere/zusätzliche Datensätze ist die Leistung von MagNet bei diesen Datensätzen ausschließlich SOTA.

Tabelle 1: Experimentelle Ergebnisse – Visualisierungsergebnisse Auch die Ergebnisse sind hervorragend , was in vielen schwierigen Szenarien die LAVT-Basislinie übertrifft.

Zusammenfassung

Dieser Artikel befasst sich mit den Herausforderungen und aktuellen Problemen im Bereich der Referenzsegmentierung (RIS), insbesondere mit den Mängeln bei der feinkörnigen Ausrichtung von Sprache und Bild. Als Reaktion auf diese Probleme schlugen Forscher der Tsinghua-Universität und des Bosch Central Research Institute eine neue Methode namens MagNet vor, die die Sprache durch die Einführung der Hilfsaufgabe Mask Grounding, eines modalübergreifenden Ausrichtungsmoduls und einer modalübergreifenden Ausrichtungsverlustfunktion umfassend verbessert der Ausrichtungseffekt zwischen Bildern. Experimente belegen, dass MagNet bei RefCOCO-, RefCOCO+- und G-Ref-Datensätzen eine deutlich bessere Leistung erzielt, die bisherigen hochmodernen Algorithmen übertrifft und starke Generalisierungsfähigkeiten demonstriert. Die Visualisierungsergebnisse bestätigen auch die Überlegenheit von MagNet bei der Verarbeitung komplexer Szenen und Sprachausdrücke. Diese Forschung liefert nützliche Inspirationen für die Weiterentwicklung des Bereichs der Referenzsegmentierung und dürfte zu größeren Durchbrüchen auf diesem Gebiet führen.

Teamvorstellung

Dieses Papier stammt von der Abteilung für Automatisierung der Tsinghua-Universität (https://www.au.tsinghua.edu.cn) und dem Bosch Central Research Institute (https:// www.bosch.com/research/). Unter ihnen ist Zhuang Rongxian, der Erstautor der Arbeit, Doktorand an der Tsinghua-Universität und Praktikant an der Bosch Academia Sinica; der Projektleiter ist Dr. Qiu Xuchong, ein leitender F&E-Wissenschaftler an der Bosch Academia Sinica; Professor Huang Gao von der Abteilung für Automatisierung der Tsinghua-Universität.

Das obige ist der detaillierte Inhalt vonCVPR 2024 |. Tsinghua & Bosch sind gut darin, komplexe Szenen und Sprachausdrücke zu verarbeiten, und schlugen eine neue Instanzsegmentierungsnetzwerkarchitektur MagNet vor. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!