Gaussian-LIC: Das erste Multisensor-Fusion-3DGS-SLAM-System (Zhejiang University & TUM)

Die Kombination von Multisensoren und 3DGS

Der implizite Ausdruck „Echtzeitfähigkeiten, die für rechenintensive SLAM-Aufgaben basierend auf der Abtastung im 3D-Raum erforderlich sind“ erfordert NeRF-basierte + SLAM-Methoden. 3DGS zeichnet sich durch seine schnelle Rendering-Geschwindigkeit und hervorragende visuelle Qualität aus. Als klare und interpretierbare Darstellung vereinfacht 3DGS die Szenenbearbeitung und erleichtert die Ausführung zahlreicher nachgelagerter Aufgaben.

Bestehende strahlungsfeldbasierte SLAM-Systeme werden hauptsächlich in gut beleuchteten kleinen Innenräumen getestet und erzielen mit sequentiellen RGB-D- oder RGB-Eingängen zufriedenstellende Ergebnisse. Schwierigkeiten treten auf, wenn diese Methoden auf anspruchsvolle, großflächige, unkontrollierte Außenszenen ausgeweitet werden, beispielsweise schwierige Lichtverhältnisse, unübersichtliche Hintergründe und hochdynamische Eigenbewegungen.

Verwenden Sie Gaussian-LIC+, um Daten von mehreren Sensoren, einschließlich 3D-Lidar, IMU und Kameras (genannt ALIC), in unkontrollierten Außenszenen zu fusionieren.

• Das erste 3DGS basiert auf dem Lidar-Trägheitskamerafusions-SLAM-System, das eine hochpräzise Lageverfolgung ermöglicht und realistische Online-Kartenkonstruktion.
• Nutzen Sie nacheinander gefärbte LIDAR-Punktwolken als Vorbilder, um Gaußsche Karten online zu rekonstruieren. Nutzen Sie eine sorgfältig konzipierte Reihe von Strategien, um die Gaußsche Karte schrittweise zu erweitern und ihre Dichte adaptiv zu steuern, um eine hohe Effizienz und Genauigkeit zu erreichen.
• Ausgiebig in Innen- und Außenszenen bewährt und demonstriert die neueste Leistung in der fotorealistischen Kartenproduktion. Nachgewiesene Robustheit unter rauen Bedingungen, einschließlich hochdynamischer Bewegung, geringer Beleuchtung und fehlender Geometrie und visueller Textur.

Die in Abbildung 1 dargestellte spezifische Methode

ist der LIC-SLAM-Systemprozess.

Darstellung von 3DGS

Stellen Sie die Szene als anisotrope Sammlung von 3D-Gauß-Verteilungen mit der Varianz jeder Gauß-Verteilung dar:

Projizieren Sie die 3D-Gauß-Verteilung auf die Bildebene, um eine 2D-Gauß-Verteilung zu erhalten :

Der durch die Projektion erhaltene 2D-Gauß-Wert wirkt sich über die Opazitätsgewichtungsgleichung auf die Pixel aus:

Rendern des Konturbilds, um festzustellen, ob das Pixel genügend Informationen aus der Gauß-Karte enthält:

LiDAR -IMU-Kamera-Odometer

Odometer übernimmt die frühere Arbeit Coco-LIC als Tracking-Frontend, ein zeitkontinuierliches, eng gekoppeltes Lidar-Trägheitskamera-Odometriesystem. Durch die Integration von drei komplementären Sensoren erreicht Gaussian-LIC eine leistungsstarke, hochpräzise Lageschätzung in Echtzeit und erleichtert so den Betrieb des gesamten SLAM-Systems.

Immer wenn die neuesten (0,1 Sekunden in diesem Artikel) Lidar-Trägheitskameradaten akkumuliert werden, wird die Flugbahn innerhalb dieses Zeitintervalls basierend auf dem Faktordiagramm effizient optimiert:

• Lidar-Punktwolke zur Karte
• Bild Zum visuellen Faktor von die Karte
• IMU-Faktor
• Bias-Faktor

Im Zeitintervall verwenden wir nur die neuesten Bilder zur Optimierung.

Gaussian-LIC verwaltet eine globale Lidar-Karte, die in Voxeln mit einer Auflösung von 0,1 Metern gespeichert ist. Nach der Optimierung der Flugbahn innerhalb des aktuellen Zeitintervalls wird zur Verbesserung der Effizienz nur ein Viertel der LIDAR-Punkte in diesem Zeitraum in Weltkoordinaten konvertiert und an Voxel angehängt, um sicherzustellen, dass die Anzahl der LIDAR-Punkte in jedem Voxel dem Abstand zwischen ihnen entspricht sollte größer als 0,05 Meter sein, um Redundanz zu reduzieren. Projizieren Sie erfolgreich angehängte LIDAR-Punkte auf das neueste Bild und färben Sie sie durch Abfrage der Pixelwerte ein. Anschließend werden sie zusammen mit dem neuesten Bild der geschätzten Kameraposition, das als Frame betrachtet wird, an den Mapping-Thread gesendet.

Realistische Kartierung basierend auf 3DGS

Mit kontinuierlicher Eingabe: geschätzte Kameraposition, verzerrungsfreies Bild, farbige LIDAR-Punkte erstellt und optimiert das Kartierungsmodul nach und nach die Gaußsche Karte, hauptsächlich in 4 Schritten:

1. Initialisierung: Erstellen eine neue Gaußsche Verteilung unter Verwendung aller im ersten Zeitintervall empfangenen LIDAR-Punkte. Um Aliasing-Artefakte abzuschwächen, weisen wir den Gauß-Funktionen, die näher an der Bildebene liegen, kleinere Maßstäbe und den Gauß-Funktionen, die weiter von der Bildebene entfernt sind, größere Maßstäbe zu:

2. Erweiterungen: Normalerweise erfasst jeder empfangene Frame die Geometrie und das Erscheinungsbild eines neuen Anzeigebereichs. Um Duplikate oder extrem ähnliche Informationsredundanzen zu vermeiden, rendern Sie zunächst ein Konturbild aus der aktuellen Bildansicht gemäß Gleichung (6) und generieren Sie eine Maske , um unzuverlässige Pixel in der aktuellen Gaußschen Karte auszuwählen und zu beobachten Neue Bereiche, es werden nur LIDAR-Punkte ausgenutzt, die auf das ausgewählte Pixel projiziert werden können:

3. Optimierung: Alle empfangenen Bilder zur Optimierung für unser Online-Inkrementalkartierungssystem verwenden. Dies ist rechnerisch nicht machbar, daher wird jeder fünfte Bildrahmen berücksichtigt ein Keyframe. Um die Rechenkomplexität aus Gründen der Effizienz begrenzt zu halten, wählen wir aktive Keyframes aus, um die Gaußsche Karte zu optimieren, einschließlich des ersten und letzten Keyframes, und anderer zufällig ausgewählter Keyframes, um eine Katastrophe zu vermeiden, das Problem des sexuellen Vergessens zu lösen und die Geometrie beizubehalten Konsistenz der Weltkarte. Wir mischen die ausgewählten Keyframes nach dem Zufallsprinzip und durchlaufen jeden Keyframe einzeln, um die Karte durch Minimierung des Verlusts beim erneuten Rendern zu optimieren:

4. Adaptive Steuerung: LiDAR-Scannen deckt möglicherweise nicht die gesamte Szene ab, insbesondere im randlosen Modus Outdoor-Umgebungen. Es ist daher notwendig, eine adaptive Steuerung durchzuführen, um die Gaußsche Karte innerhalb des Einheitsvolumens zu verdichten. Die ursprüngliche Strategie verarbeitet Gaußsche Werte mit großen Gradienten in festen Intervallen, während im inkrementellen Modus kürzlich hinzugefügte Gaußsche Werte aufgrund großer Gradienten möglicherweise falsch geklont oder aufgeteilt werden, da sie häufig noch nicht konvergiert sind. Die Lösung besteht darin, die vorhandenen Gaußschen Verteilungen in stabile und instabile Kategorien zu klassifizieren und nur die stabilen Gaußschen Verteilungen zu verdichten.

Experiment

Zusammenfassung und Diskussion

Gaussian-LIC ist ein Roman LiDAR – Trägheitskamera-Strahlungsfeld-SLAM-System, implementierte hochpräzise Verfolgung , Doppelfunktionalität mit fotorealistischer Online-Rekonstruktion von 3D-Gauß-Spritzern. Schattierte LiDAR-Punkte in Weltkoordinaten, die durch effiziente LiDAR-Trägheitskamera-Odometrie erzeugt werden, werden als gute Prioritäten verwendet, um die inkrementelle Erstellung von Gaußschen Karten mit deutlich besserer Verallgemeinerung in Innen- und Außenszenen zu unterstützen.

Raum für Verbesserungen:

• Versuchen Sie, unnötige Gaußsche Verteilungen in der Karte zu entfernen.
• Unterstützt verschiedene Lidar, derzeit wird nur versucht, Solid-State-Lidar zu verwenden.
• Die automatische Belichtung und Bewegungsunschärfe der Kamera beeinträchtigen die visuelle Qualität realistischer Karten.

Das obige ist der detaillierte Inhalt vonGaussian-LIC: Das erste Multisensor-Fusion-3DGS-SLAM-System (Zhejiang University & TUM). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!