UniVision stellt eine neue Generation eines einheitlichen Frameworks vor: Die Doppelaufgaben BEV-Erkennung und Belegung erreichen das fortschrittlichste Niveau!

Vorab geschrieben & persönliches Verständnis

In den letzten Jahren hat sich die visionszentrierte 3D-Wahrnehmung in der autonomen Fahrtechnologie rasant weiterentwickelt. Obwohl 3D-Wahrnehmungsmodelle strukturell und konzeptionell ähnlich sind, gibt es immer noch Lücken in der Merkmalsdarstellung, den Datenformaten und Zielen, was eine Herausforderung beim Entwurf eines einheitlichen und effizienten 3D-Wahrnehmungsrahmens darstellt. Daher müssen Forscher hart daran arbeiten, diese Lücken zu schließen, um genauere und zuverlässigere autonome Fahrsysteme zu entwickeln. Durch Zusammenarbeit und Innovation hoffen wir, die Sicherheit und Leistung des autonomen Fahrens weiter zu verbessern.

Besonders bei Erkennungsaufgaben und Belegungsaufgaben im Rahmen von BEV ist es sehr schwierig, ein gemeinsames Training zu erreichen und gute Ergebnisse zu erzielen. Dies führt bei vielen Anwendungen zu großen Problemen aufgrund von Instabilität und schwer kontrollierbaren Effekten. UniVision ist jedoch ein einfaches und effizientes Framework, das die beiden Hauptaufgaben der visionszentrierten 3D-Wahrnehmung vereint, nämlich Belegungsvorhersage und Objekterkennung. Der Kern des Frameworks ist ein explizit-implizites Ansichtstransformationsmodul für die komplementäre 2D-3D-Feature-Transformation. Darüber hinaus schlägt UniVision auch ein lokales globales Merkmalsextraktions- und Fusionsmodul für eine effiziente und adaptive Voxel- und BEV-Merkmalsextraktion, -verbesserung und -interaktion vor. Durch die Übernahme dieser Methoden ist UniVision in der Lage, zufriedenstellende Ergebnisse bei Erkennungs- und Belegungsaufgaben unter BEV zu erzielen.

UniVision schlägt eine gemeinsame Strategie zur Verbesserung der Belegungserkennungsdaten und eine progressive Gewichtsanpassungsstrategie vor, um die Effizienz und Stabilität des Multitasking-Framework-Trainings zu verbessern. Umfangreiche Experimente werden an vier öffentlichen Benchmarks durchgeführt, darunter szenenfreie Lidar-Segmentierung, szenenfreie Erkennung, OpenOccupancy und Occ3D. Experimentelle Ergebnisse zeigen, dass UniVision bei jedem Benchmark Zuwächse von +1,5 mIoU, +1,8 NDS, +1,5 mIoU bzw. +1,8 mIoU erzielte und damit das SOTA-Niveau erreichte. Daher kann das UniVision-Framework als leistungsstarke Basis für einheitliche visionszentrierte 3D-Wahrnehmungsaufgaben dienen.

Der aktuelle Stand auf dem Gebiet der 3D-Wahrnehmung

3D-Wahrnehmung ist die Hauptaufgabe autonomer Fahrsysteme. Ihr Zweck besteht darin, Daten aus einer Reihe von Sensoren (wie Lidar, Radar und Kameras) zu nutzen, um sie umfassend zu verstehen der Fahrszene für die spätere Nutzungsplanung und Entscheidungsfindung. In der Vergangenheit wurde der Bereich der 3D-Wahrnehmung aufgrund der präzisen 3D-Informationen, die aus Punktwolkendaten abgeleitet wurden, von Lidar-basierten Modellen dominiert. Allerdings sind Lidar-basierte Systeme kostspielig, anfällig für Unwetter und unpraktisch in der Bereitstellung. Im Gegensatz dazu bieten visionsbasierte Systeme viele Vorteile, wie etwa niedrige Kosten, einfache Bereitstellung und gute Skalierbarkeit. Daher hat die visionszentrierte dreidimensionale Wahrnehmung bei Forschern große Aufmerksamkeit erregt.

In letzter Zeit hat die visionsbasierte 3D-Erkennung durch verbesserte Transformation der Merkmalsdarstellung, zeitliche Fusion und Überwachungssignaldesign erhebliche Fortschritte gemacht, und die Lücke zu LiDAR-basierten Modellen wird immer kleiner. Darüber hinaus haben sich in den letzten Jahren auch visionsbasierte Belegungsaufgaben rasant weiterentwickelt. Im Gegensatz zur Verwendung von 3D-Boxen zur Darstellung von Objekten kann die Belegung die geometrischen und semantischen Eigenschaften der Fahrszene umfassender beschreiben und ist nicht durch die Form und Kategorie des Objekts eingeschränkt.

Obwohl Erkennungsmethoden und Belegungsmethoden strukturelle und konzeptionelle Ähnlichkeiten aufweisen, gibt es nicht genügend Forschung zur gleichzeitigen Bewältigung dieser beiden Aufgaben und zur Erforschung ihrer Wechselbeziehungen. Belegungsmodelle und Erkennungsmodelle extrahieren häufig unterschiedliche Merkmalsdarstellungen. Die Aufgabe der Belegungsvorhersage erfordert umfassende semantische und geometrische Beurteilungen, daher wird die Voxeldarstellung häufig verwendet, um feinkörnige 3D-Informationen zu bewahren. Bei Erkennungsaufgaben ist jedoch die BEV-Darstellung vorzuziehen, da die meisten Objekte mit geringerer Überlappung auf derselben horizontalen Ebene liegen.

Im Vergleich zur BEV-Darstellung ist die Voxel-Darstellung feiner, aber weniger effizient. Darüber hinaus sind viele fortgeschrittene Operatoren hauptsächlich für 2D-Funktionen konzipiert und optimiert, was ihre Integration in die 3D-Voxeldarstellung nicht so einfach macht. Die BEV-Darstellung ist im Hinblick auf Zeiteffizienz und Speichereffizienz vorteilhafter, für eine dichte räumliche Vorhersage jedoch nicht optimal, da Strukturinformationen in der Höhendimension verloren gehen. Neben der Merkmalsdarstellung unterscheiden sich verschiedene Wahrnehmungsaufgaben auch in Datenformaten und Zielen. Daher ist es eine große Herausforderung, die Einheitlichkeit und Effizienz des Trainings von Multitasking-3D-Wahrnehmungsframeworks sicherzustellen.

UniVision-Netzwerkstruktur

Die Gesamtarchitektur des UniVision-Frameworks ist in Abbildung 1 dargestellt. Das Framework empfängt Multi-View-Bilder von umliegenden N Kameras als Eingabe und extrahiert Bildmerkmale über ein Netzwerk zur Bildmerkmalsextraktion. Als nächstes wird das Ex-Im-Ansichtstransformationsmodul verwendet, um 2D-Bildmerkmale in 3D-Voxelmerkmale umzuwandeln. Dieses Modul kombiniert tiefengesteuertes explizites Feature-Boosting und abfragegesteuertes implizites Feature-Sampling. Nach der Ansichtstransformation werden die Voxel-Features in den lokalen globalen Feature-Extraktions- und Fusionsblock eingespeist, um lokale kontextsensitive Voxel-Features bzw. globale kontextsensitive BEV-Features zu extrahieren. Als nächstes werden Informationen über Voxel-Merkmale und BEV-Merkmale für verschiedene nachgelagerte Wahrnehmungsaufgaben über das Cross-Representation-Feature-Interaktionsmodul ausgetauscht. Während des Trainingsprozesses verwendet das UniVision-Framework kombinierte Occ-Det-Datenverbesserungs- und progressive Gewichtsanpassungsstrategien für ein effektives Training. Diese Strategien können den Trainingseffekt und die Generalisierungsfähigkeit des Frameworks verbessern. Kurz gesagt, das UniVision-Framework realisiert die Aufgabe der Erfassung der Umgebung durch die Verarbeitung von Multi-View-Bildern und 3D-Voxel-Features sowie die Anwendung von Feature-Interaktionsmodulen. Gleichzeitig wird durch die Anwendung von Datenverbesserungs- und Gewichtsverlustanpassungsstrategien der Trainingseffekt des Frameworks effektiv verbessert.

1) Ex-Im View Transform

Tiefengesteuerte explizite Funktionserweiterung. Hier wird der LSS-Ansatz verfolgt:

2) Abfragegesteuertes implizites Feature-Sampling. Die Darstellung von 3D-Informationen weist jedoch einige Nachteile auf. Die Genauigkeit von korreliert stark mit der Genauigkeit der geschätzten Tiefenverteilung. Darüber hinaus sind die von LSS generierten Punkte nicht gleichmäßig verteilt. In der Nähe der Kamera sind die Punkte dicht gepackt und in der Ferne spärlich verteilt. Daher verwenden wir weiterhin abfragegesteuertes Feature-Sampling, um die oben genannten Mängel zu kompensieren.

Im Vergleich zu aus LSS generierten Punkten sind Voxelabfragen gleichmäßig im 3D-Raum verteilt und werden aus den statistischen Eigenschaften aller Trainingsmuster gelernt, was unabhängig von den in LSS verwendeten Tiefenvorabinformationen ist. Verbinden Sie sie daher und ergänzen Sie sie als Ausgabefunktionen des Ansichtstransformationsmoduls: axis und verwenden Sie Faltungsschichten, um Kanäle zu reduzieren und BEV-Merkmale zu erhalten:

Anschließend wird das Modell zur Merkmalsextraktion und -verbesserung in zwei parallele Zweige unterteilt. Lokale Merkmalsextraktion + globale Merkmalsextraktion und die endgültige darstellungsübergreifende Merkmalsinteraktion! Wie in Abbildung 1(b) dargestellt.

3) Verlustfunktion und Erkennungskopf

Strategie zur progressiven Gewichtsanpassung. In der Praxis zeigt sich, dass die direkte Einbeziehung der oben genannten Verluste häufig dazu führt, dass der Trainingsprozess fehlschlägt und das Netzwerk nicht konvergiert. In den frühen Phasen des Trainings sind die Voxelmerkmale Fvoxel zufällig verteilt, und die Überwachung im Belegungskopf und Erkennungskopf trägt weniger zu Konvergenzverlusten bei als andere. Gleichzeitig sind Verlustelemente wie der Klassifizierungsverlust Lcls in der Erkennungsaufgabe sehr groß und dominieren den Trainingsprozess, was die Optimierung des Modells erschwert. Um dieses Problem zu lösen, wird eine progressive Strategie zur Anpassung des Verlustgewichts vorgeschlagen, um das Verlustgewicht dynamisch anzupassen. Insbesondere wird ein Steuerparameter δ zu den Verlusten außerhalb der Bildebene (d. h. Belegungsverlust und Erkennungsverlust) hinzugefügt, um das Verlustgewicht in verschiedenen Trainingsepochen anzupassen. Das Kontrollgewicht δ wird zu Beginn auf einen kleinen Wert Vmin eingestellt und steigt über N Trainingsepochen schrittweise auf Vmax an:

4) Kombinierte Occ-Det-Geodatenverbesserung

Bei 3D-Erkennungsaufgaben ist neben der üblichen Datenverbesserung auf Bildebene auch die Datenverbesserung auf räumlicher Ebene wirksam bei der Verbesserung der Modellleistung. Allerdings ist die Anwendung der Verbesserung der räumlichen Ebene bei Belegungsaufgaben nicht einfach. Wenn wir Datenerweiterungen (z. B. zufällige Skalierung und Rotation) auf diskrete Belegungsbezeichnungen anwenden, ist es schwierig, die resultierende Voxelsemantik zu bestimmen. Daher wenden bestehende Methoden nur einfache räumliche Erweiterungen an, wie z. B. zufälliges Umdrehen bei Belegungsaufgaben.

Um dieses Problem zu lösen, schlägt UniVision eine gemeinsame räumliche Datenerweiterung von Occ-Det vor, um eine gleichzeitige Verbesserung von 3D-Erkennungsaufgaben und Belegungsaufgaben im Framework zu ermöglichen. Da es sich bei den Beschriftungen der 3D-Box um kontinuierliche Werte handelt und die erweiterte 3D-Box für das Training direkt berechnet werden kann, wird zur Erkennung die Erweiterungsmethode in BEVDet befolgt. Obwohl Belegungsbezeichnungen diskret und schwer zu manipulieren sind, können Voxelmerkmale als kontinuierlich behandelt und durch Operationen wie Abtastung und Interpolation verarbeitet werden. Es wird daher empfohlen, Voxelmerkmale zu transformieren, anstatt zur Datenerweiterung direkt auf Belegungsbezeichnungen zu arbeiten.

Konkret wird zunächst die räumliche Datenerweiterung abgetastet und die entsprechende 3D-Transformationsmatrix berechnet. Für die Belegungsbezeichnungen und deren Voxel-Indizes berechnen wir deren dreidimensionale Koordinaten. Anschließend wird es auf die Voxel-Indizes in den erweiterten Voxel-Funktionen angewendet und normalisiert. : OpenOccupancy und Occ3D.

NuScenes LiDAR-Segmentierung: Gemäß dem aktuellen OccFormer und TPVFormer werden Kamerabilder als Eingabe für die LIDAR-Segmentierungsaufgabe verwendet und die LIDAR-Daten werden nur verwendet, um 3D-Standorte für die Abfrage der Ausgabemerkmale bereitzustellen. Verwenden Sie mIoU als Bewertungsmetrik.

NuScenes 3D-Objekterkennung: Verwenden Sie für Erkennungsaufgaben die offizielle Metrik von nuScenes, den nuScene Detection Score (NDS), der die gewichtete Summe aus durchschnittlichem mAP und mehreren Metriken ist, einschließlich durchschnittlichem Übersetzungsfehler (ATE), durchschnittlichem Skalenfehler ( ASE), durchschnittlicher Orientierungsfehler (AOE), durchschnittlicher Geschwindigkeitsfehler (AVE) und durchschnittlicher Attributfehler (AAE).

OpenOccupancy: Der OpenOccupancy-Benchmark basiert auf dem nuScenes-Datensatz und bietet semantische Belegungsbezeichnungen mit einer Auflösung von 512×512×40. Die beschrifteten Klassen sind die gleichen wie in der LIDAR-Segmentierungsaufgabe, wobei mIoU als Bewertungsmetrik verwendet wird!

Occ3D: Der Occ3D-Benchmark basiert auf dem nuScenes-Datensatz und bietet semantische Belegungsbezeichnungen mit einer Auflösung von 200×200×16. Occ3D bietet außerdem sichtbare Masken für Training und Auswertung. Die beschrifteten Klassen sind die gleichen wie in der LIDAR-Segmentierungsaufgabe, wobei mIoU als Bewertungsmetrik verwendet wird!

1) Nuscenes LiDAR-Segmentierung

Tabelle 1 zeigt die Ergebnisse des nuScenes LiDAR-Segmentierungs-Benchmarks. UniVision übertrifft die hochmoderne visionsbasierte Methode OccFormer deutlich um 1,5 % mIoU und stellt einen neuen Rekord für visionsbasierte Modelle auf der Bestenliste auf. Bemerkenswert ist, dass UniVision auch einige Lidar-basierte Modelle wie PolarNe und DB-UNet übertrifft.

2) NuScenes 3D-Objekterkennungsaufgabe

Wie in Tabelle 2 gezeigt, übertrifft UniVision andere Methoden, wenn dieselben Trainingseinstellungen für einen fairen Vergleich verwendet werden. Im Vergleich zu BEVDepth bei einer Bildauflösung von 512×1408 erzielt UniVision Zuwächse von 2,4 % bzw. 1,1 % bei mAP und NDS. Wenn das Modell vergrößert wird und UniVision mit zeitlichen Eingaben kombiniert wird, übertrifft es SOTA-basierte zeitliche Detektoren um ein Vielfaches. UniVision erreicht dies mit einer kleineren Eingabeauflösung und verwendet kein CBGS.

3) OpenOccupancy-Ergebnisvergleich

Die Ergebnisse des OpenOccupancy-Benchmarktests sind in Tabelle 3 dargestellt. UniVision übertrifft aktuelle visionsbasierte Belegungsmethoden, einschließlich MonoScene, TPVFormer und C-CONet, in Bezug auf mIoU deutlich um 7,3 %, 6,5 % bzw. 1,5 %. Darüber hinaus übertrifft UniVision einige Lidar-basierte Methoden wie LMSCNet und JS3C-Net.

4) Occ3D-Experimentalergebnisse

Tabelle 4 listet die Ergebnisse des Occ3D-Benchmarks auf. UniVision übertrifft aktuelle visionsbasierte Methoden in Bezug auf mIoU bei unterschiedlichen Eingabebildauflösungen deutlich um mehr als 2,7 % bzw. 1,8 %. Es ist erwähnenswert, dass BEVFormer und BEVDet-stereo vorab trainierte Gewichte laden und zeitliche Eingaben in der Inferenz verwenden, während UniVision diese nicht verwendet, aber dennoch eine bessere Leistung erzielt.

5) Wirksamkeit von Komponenten bei Erkennungsaufgaben

Die Ablationsstudie von Erkennungsaufgaben ist in Tabelle 5 dargestellt. Wenn der BEV-basierte globale Merkmalsextraktionszweig in das Basismodell eingefügt wird, verbessert sich die Leistung um 1,7 % mAP und 3,0 % NDS. Wenn die voxelbasierte Belegungsaufgabe als Hilfsaufgabe zum Detektor hinzugefügt wird, erhöht sich der mAP-Gewinn des Modells um 1,6 %. Wenn Kreuzdarstellungsinteraktionen explizit aus Voxelmerkmalen eingeführt werden, erzielt das Modell die beste Leistung und verbessert mAP und NDS um 3,5 % bzw. 4,2 % im Vergleich zur Basislinie; 6) Belegung aufgabeninterner Komponenten Die Wirksamkeit von

ist in Tabelle 6 für die Ablationsstudie zur Belegungsaufgabe dargestellt. Das voxelbasierte lokale Merkmalsextraktionsnetzwerk bringt eine Verbesserung von 1,96 % mIoU-Gewinn gegenüber dem Basismodell. Wenn die Erkennungsaufgabe als zusätzliches Überwachungssignal eingeführt wird, verbessert sich die Modellleistung um 0,4 % mIoU.

7) Sonstiges

Tabelle 5 und Tabelle 6 zeigen, dass im UniVision-Framework Erkennungsaufgaben und Belegungsaufgaben einander ergänzen. Bei Erkennungsaufgaben kann die Belegungsüberwachung die mAP- und mATE-Metriken verbessern, was darauf hindeutet, dass Voxel-semantisches Lernen die Wahrnehmung der Objektgeometrie, d. h. Zentralität und Skalierung, durch den Detektor effektiv verbessert. Für die Belegungsaufgabe verbessert die Erkennungsüberwachung die Leistung der Vordergrundkategorie (d. h. der Erkennungskategorie) erheblich, was zu einer Gesamtverbesserung führt.

Die Wirksamkeit der kombinierten Occ-Det-Raumverbesserung, des Ex-Im-Ansichtskonvertierungsmoduls und der progressiven Gewichtsanpassungsstrategie wird in Tabelle 7 gezeigt. Mit der vorgeschlagenen räumlichen Erweiterung und dem vorgeschlagenen Ansichtstransformationsmodul zeigt es erhebliche Verbesserungen bei Erkennungsaufgaben und Belegungsaufgaben für mIoU-, mAP- und NDS-Metriken. Mit der Strategie zur Gewichtsanpassung kann das Multitasking-Framework effektiv trainiert werden. Ohne dies kann das Training des einheitlichen Frameworks nicht konvergieren und die Leistung ist sehr gering.

Originallink: https://mp.weixin.qq.com/s/8jpS_I-wn1-svR3UlCF7KQ

Das obige ist der detaillierte Inhalt vonUniVision stellt eine neue Generation eines einheitlichen Frameworks vor: Die Doppelaufgaben BEV-Erkennung und Belegung erreichen das fortschrittlichste Niveau!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!