Das von der physikalischen Wärmeübertragung inspirierte visuelle Darstellungsmodell vHeat versucht, den Aufmerksamkeitsmechanismus zu durchbrechen und weist sowohl eine geringe Komplexität als auch ein globales Empfangsfeld auf.

Die AIxiv-Kolumne ist eine Kolumne, in der akademische und technische Inhalte auf dieser Website veröffentlicht werden. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail-Adresse der Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Der Autor dieses Artikels ist das ursprüngliche Team von VMamba, darunter der Erstautor Wang Zhaozhi, ein gemeinsamer Absolvent der Universität von 2022 Liu Yue, Doktorandin und Co-Autorin der Chinesischen Akademie der Wissenschaften und des Pengcheng-Labors, ist 2021 direkte Doktorandin an der Universität der Chinesischen Akademie der Wissenschaften. Ihre Hauptforschungsrichtungen sind visuelles Modelldesign und selbstüberwachtes Lernen.

Wie kann man den Aufmerksamkeitsmechanismus von Transformer durchbrechen? Die Universität der Chinesischen Akademie der Wissenschaften und das Pengcheng National Laboratory haben ein visuelles Darstellungsmodell vHeat vorgeschlagen, das auf Wärmeleitung basiert. Behandeln Sie Bildmerkmalsblöcke als „Wärmequellen“ und extrahieren Sie Bildmerkmale durch Vorhersage der „Wärmeleitfähigkeit“ und basierend auf dem „physikalischen Wärmeleitungsprinzip“. Im Vergleich zum visuellen Modell, das auf dem Aufmerksamkeitsmechanismus basiert, berücksichtigt vHeat gleichzeitig: Rechenkomplexität (1,5 Potenz), globales Empfangsfeld und physikalische Interpretierbarkeit. Bei Verwendung von vHeat-base+%E6%A8%A1%E5%9E%8B für die hochauflösende Bildeingabe sind Put, GPU-Speichernutzung und Flops jeweils Swin-base+%E6%A8%A1%E5%9E . 3 Mal, 1/4, 3/4 von %8B. Es hat eine verbesserte Leistung bei grundlegenden nachgelagerten Aufgaben wie Bildklassifizierung, Zielerkennung und Semantik-/Instanzsegmentierung erreicht. Papieradresse: https://arxiv.org/pdf/2405.16555

Codeadresse: https://github.com/MzeroMiko/vHeat

• Papiertitel: vHeat: Building Vision Modelle zur Wärmeleitung

• Übersicht

• Die beiden derzeit am weitesten verbreiteten grundlegenden visuellen Modelle sind CNN und Visual Transformer (ViT). Die Leistung von CNN wird jedoch durch lokale Empfangsfelder und feste Faltungskernoperatoren begrenzt. ViT verfügt über die Fähigkeit, globale Abhängigkeiten darzustellen, der Preis dafür ist jedoch eine hohe Komplexität der quadratischen Normberechnung. Wir glauben, dass die Faltungsoperatoren und Selbstaufmerksamkeitsoperatoren von CNN und ViT beide Pixelübertragungsprozesse innerhalb von Features sind, die jeweils eine Form der Informationsübertragung darstellen. Dies erinnert uns auch an die Wärmeleitung im physikalischen Bereich. Daher haben wir auf der Grundlage der Wärmeleitungsgleichung einen Zusammenhang zwischen der räumlichen Ausbreitung der visuellen Semantik und der physikalischen Wärmeleitung hergestellt, einen visuellen Leitungsoperator (Heat Conduction Operator, HCO) mit einem 1,5-fachen Rechenaufwand vorgeschlagen und dann einen niedrigen Wert entworfen -Power Visual Conduction Operator (HCO). Visuelles Darstellungsmodell vHeat für Komplexität, globales Empfangsfeld und physikalische Interpretierbarkeit. Die Berechnungsform und der Komplexitätsvergleich zwischen HCO und Selbstaufmerksamkeit sind in der folgenden Abbildung dargestellt. Experimente haben gezeigt, dass vHeat bei verschiedenen visuellen Aufgaben gute Leistungen erbringt. Beispielsweise erreicht vHeat-T eine Klassifizierungsgenauigkeit von 82,2 % auf ImageNet-1K, was 0,9 % höher ist als Swin-T und 1,7 % höher als ViM-S. Neben der Leistung bietet vHeat auch die Vorteile einer hohen Inferenzgeschwindigkeit, einer geringen GPU-Speichernutzung und niedriger FLOPs. Wenn die Eingabebildauflösung hoch ist, hat das vHeat-Basismodell nur 1/3 mehr Durchsatz, 1/4 GPU-Speichernutzung und 3/4 FLOPs im Vergleich zu Swin.

Einführung in die Methode

Verwenden Sie

, um die Temperatur des Punktes

zum Zeitpunkt t darzustellen. Die physikalische Wärmeleitungsgleichung lautet , wobei k>0 die Wärmeleitfähigkeit darstellt. Angesichts der Anfangsbedingungen

zum Zeitpunkt t=0 kann die Wärmeleitungsgleichung mithilfe der Fourier-Transformation gelöst werden, die wie folgt ausgedrückt wird:

wobei und die Fourier-Transformation bzw. die inverse Fourier-Transformation darstellen und räumliche Koordinaten im Frequenzbereich darstellt.

Wir verwenden HCO, um die Wärmeleitung in der visuellen Semantik zu implementieren. Wir erweitern in der physikalischen Wärmeleitungsgleichung . Wir betrachten als Eingabe und als Ausgabe in diskretisierter Form wie folgt. Die Formel wird angezeigt:

wobei und die zweidimensionale diskrete Kosinustransformation bzw. die inverse Transformation darstellen. Die Struktur von HCO ist in Abbildung (a) unten dargestellt.

Darüber hinaus glauben wir, dass unterschiedliche Bildinhalte unterschiedlichen Wärmeleitfähigkeiten entsprechen sollten. Da die Ausgabe von im Frequenzbereich liegt, bestimmen wir die Wärmeleitfähigkeit basierend auf dem Frequenzwert . Da unterschiedliche Positionen im Frequenzbereich unterschiedliche Frequenzwerte darstellen, schlagen wir Frequency Value Embeddings (FVEs) zur Darstellung von Frequenzwertinformationen vor, die der Implementierung und Funktion der absoluten Positionskodierung in ViT ähneln, und verwenden FVEs zur Steuerung der Wärmediffusion Rate k wird so vorhergesagt, dass HCO eine ungleichmäßige und adaptive Leitung durchführen kann, wie in der Abbildung unten gezeigt.

vHeat wird mithilfe einer mehrstufigen Struktur implementiert, wie in der folgenden Abbildung dargestellt. Das Gesamtgerüst ähnelt dem visuellen Mainstream-Modell, und die HCO-Schicht ist in Abbildung 2 (b) dargestellt.

Experimentelle Ergebnisse

ImageNet-Klassifizierung

Durch den Vergleich der experimentellen Ergebnisse ist es leicht zu erkennen, dass unter ähnlichen Parametern und FLOPs:

1. vHeat-T eine Leistung von 82,2 % erreichte und damit DeiT-S um 2,4 % und Vim-S um übertraf 1,7 %, Swin-T erreicht 0,9 %.
2. vHeat-S erreichte eine Leistung von 83,6 % und übertraf damit Swin-S um 0,6 % und ConvNeXt-S um 0,5 %.
3. vHeat-B erreichte eine Leistung von 83,9 % und übertraf damit DeiT-B um 2,1 % und Swin-B um 0,4 %.

Gleichzeitig hat der Inferenzdurchsatz aufgrund der geringen Komplexität von vHeat O (N^1,5) und der parallelen Berechnung offensichtliche Vorteile im Vergleich zu ViTs- und SSM-Modellen, wie beispielsweise dem Inferenzdurchsatz von vHeat-T It beträgt 1514 img/s, was 22 % höher ist als Swin-T, 87 % höher als Vim-S und 26 % höher als ConvNeXt-T, bei gleichzeitig besserer Leistung.

Nachgelagerte Aufgaben

Auf dem COCO-Datensatz hat vHeat auch einen Leistungsvorteil: Bei der Feinabstimmung von 12 Epochen erreicht vHeat-T/S/B jeweils 45,1/46,8/47,7 mAP und übertrifft damit die Leistung Es übertrifft Swin-T/S/B und erreicht 2,4/2,0/0,8 mAP und übertrifft ConvNeXt-T/S/B und erreicht 0,9/1,4/0,7 mAP. Im ADE20K-Datensatz erreichte vHeat-T/S/B jeweils 46,9/49,0/49,6 mIoU, was immer noch eine bessere Leistung als Swin und ConvNeXt aufweist. Diese Ergebnisse bestätigen, dass vHeat in visuellen Downstream-Experimenten vollständig funktioniert, und demonstrieren das Potenzial, gängige grundlegende visuelle Modelle zu ersetzen.

Analyseexperiment

Effektives Empfangsfeld

vHeat verfügt über ein globales effektives Empfangsfeld. Unter den gängigen Modellen für den visuellen Vergleich verfügen nur DeiT und HiViT ebenfalls über diese Funktion. Es ist jedoch anzumerken, dass die Kosten für DeiT und HiViT der Komplexität auf Quadratebene entsprechen, während bei vHeat die Komplexität auf der Leistungsebene 1,5 beträgt.

Rechenaufwand

Das obige Bild von links nach rechts zeigt den Vergleich von Inferenzdurchsatz/GPU-Speichernutzung/Berechnungs-FLOPs von vHeat-B und anderen ViT-basierten Modellen im Basismaßstab. Es ist deutlich zu erkennen, dass vHeat aufgrund der Rechenkomplexität von O (N^1,5) eine schnellere Inferenzgeschwindigkeit, eine geringere Speichernutzung und weniger FLOPs aufweist als die Vergleichsmodelle, und wenn die Bildauflösung größer ist, sind die Vorteile größer offensichtlich. Wenn das Eingabebild eine Auflösung von 768*768 hat, ist der Inferenzdurchsatz von vHeat-B etwa dreimal so hoch wie der von Swin-B, die GPU-Speichernutzung ist 74 % niedriger als die von Swin-B und die FLOPs sind 28 % niedriger als bei Swin-B. Der Vergleich der Rechenkosten von vHeat- und ViT-basierten Modellen zeigt das hervorragende Potenzial bei der Verarbeitung hochauflösender Bilder.

Das obige ist der detaillierte Inhalt vonDas von der physikalischen Wärmeübertragung inspirierte visuelle Darstellungsmodell vHeat versucht, den Aufmerksamkeitsmechanismus zu durchbrechen und weist sowohl eine geringe Komplexität als auch ein globales Empfangsfeld auf.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!