Gaussian-LIC : Le premier système de fusion multi-capteurs 3DGS-SLAM (Zhejiang University & TUM)

La combinaison de multi-capteurs et de 3DGS

L'expression implicite des « capacités en temps réel requises pour les tâches SLAM intensives en calcul basées sur l'échantillonnage dans l'espace 3D » nécessite des méthodes SLAM basées sur NeRF. 3DGS se distingue par sa vitesse de rendu rapide et sa qualité visuelle supérieure. En tant que représentation claire et interprétable, 3DGS simplifie l'édition de scène et facilite l'exécution de nombreuses tâches en aval.

Les systèmes SLAM existants basés sur un champ de rayonnement sont principalement testés dans des environnements intérieurs à petite échelle bien éclairés et obtiennent des résultats satisfaisants en utilisant des entrées RVB-D ou RVB séquentielles. Des difficultés seront rencontrées lorsque ces méthodes seront étendues à des scènes extérieures incontrôlées à grande échelle, telles que des conditions d'éclairage difficiles, des arrière-plans encombrés et des mouvements personnels très dynamiques.

Utilisez Gaussian-LIC+ pour fusionner les données de plusieurs capteurs, y compris le lidar 3D, l'IMU et les caméras (appelées ALIC), dans des scènes extérieures non contrôlées

• Le premier 3DGS basé sur la fusion de caméras inertielles lidar - système SLAM, permettant un suivi d'attitude très précis et une construction de carte en ligne réaliste.
• Utilisez des nuages ​​de points lidar colorés séquentiellement comme a priori pour reconstruire des cartes gaussiennes de manière en ligne. Utilisez une série de stratégies soigneusement conçues pour étendre progressivement la carte gaussienne et contrôler sa densité de manière adaptative afin d’obtenir une efficacité et une précision élevées.
• Largement éprouvé dans les scènes intérieures et extérieures, démontrant les dernières performances en matière de production de cartes photoréalistes. Robustesse démontrée dans des conditions difficiles, notamment des mouvements très dynamiques, un faible éclairage et un manque de géométrie et de texture visuelle.

La méthode spécifique

est illustrée dans la figure 1, qui est le processus du système LIC-SLAM.

Représentation de 3DGS

Représentez la scène comme une collection anisotrope de gaussiennes 3D, avec la variance de chaque gaussienne :

Projetez la gaussienne 3D sur le plan image pour obtenir une distribution gaussienne 2D :

La gaussienne 2D obtenue par la projection affecte les pixels via l'équation de pondération de l'opacité :

Rendu de l'image de contour pour déterminer si le pixel contient suffisamment d'informations de la carte gaussienne :

LiDAR -Compteur kilométrique IMU-Camera

L'odomètre adopte les travaux précédents Coco-LIC comme frontal de suivi, un système d'odométrie à caméra inertielle lidar étroitement couplé en temps continu. En intégrant trois capteurs complémentaires, Gaussian-LIC réalise une estimation d'attitude puissante, en temps réel et de haute précision, facilitant ainsi le fonctionnement de l'ensemble du système SLAM.

Chaque fois que les dernières données de la caméra inertielle lidar (0,1 seconde dans cet article) sont accumulées, la trajectoire dans cet intervalle de temps est optimisée efficacement en fonction du graphique de facteurs :

• Nuage de points Lidar à cartographier
• image Facteurs visuels sur la carte
• Facteur IMU
• Facteur de biais

Nous utilisons uniquement les dernières images pour l'optimisation pendant l'intervalle de temps.

Gaussian-LIC maintient une carte lidar globale stockée dans des voxels à une résolution de 0,1 mètre. Après avoir optimisé la trajectoire dans l'intervalle de temps actuel, pour améliorer l'efficacité, seul un quart des points lidar de cette période sont convertis en coordonnées mondiales et ajoutés aux voxels pour garantir que le nombre de points lidar dans chaque voxel correspond à la distance qui les sépare. doit être supérieur à 0,05 mètre pour réduire la redondance. Pour les points lidar attachés avec succès, projetez-les sur la dernière image et coloriez-les en interrogeant les valeurs des pixels. Ensuite, ils sont envoyés au fil de cartographie avec la dernière image de la pose estimée de la caméra, qui est considérée comme une image.

Cartographie réaliste basée sur 3DGS

Avec saisie continue : pose de caméra estimée, image sans distorsion, points lidar colorés, le module de cartographie construit et optimise progressivement la carte gaussienne, principalement en 4 étapes :

1. Initialisation : Créer une nouvelle distribution gaussienne utilisant tous les points lidar reçus pendant le premier intervalle de temps. Pour atténuer les artefacts d'alias, nous attribuons des échelles plus petites aux gaussiennes plus proches du plan image et des échelles plus grandes aux gaussiennes plus éloignées du plan image :

2. Extensions : généralement, chaque image reçue capture la géométrie et l'apparence d'une nouvelle zone de visualisation. Afin d'éviter la duplication ou la redondance d'informations extrêmement similaires, restituez d'abord une image de contour à partir de la vue d'image actuelle selon l'équation (6), et générez un masque pour sélectionner les pixels non fiables dans la carte gaussienne actuelle, et tendez à observer nouvelles zones, seuls les points lidar pouvant être projetés sur le pixel sélectionné sont exploités :

3. Optimisation : utiliser toutes les images reçues pour l'optimisation de notre système de cartographie incrémentielle en ligne. Ceci est informatiquement irréalisable, donc une image sur cinq est prise en compte une image clé. Afin de limiter la complexité de calcul pour plus d'efficacité, nous sélectionnons images clés actives pour optimiser la carte gaussienne, y compris la première et la dernière image clé, et d'autres images clés sélectionnées au hasard pour éviter le désastre, résout le problème de l'oubli sexuel et maintient la géométrie. cohérence de la carte globale. Nous mélangeons au hasard les images clés sélectionnées et parcourons chaque image clé une par une, optimisant la carte en minimisant la perte de rendu :

4. Contrôle adaptatif : le balayage LiDAR peut ne pas couvrir la totalité de la scène, en particulier en mode sans bordure. environnements extérieurs. Il est donc nécessaire d'effectuer un contrôle adaptatif pour densifier la carte gaussienne au sein d'une unité de volume. La stratégie originale gère les gaussiennes avec de grands gradients à intervalles fixes, tandis qu'en mode incrémental, puisqu'elles n'ont souvent pas encore convergé, les gaussiennes récemment ajoutées peuvent être incorrectement clonées ou divisées en raison de leurs gradients importants. La solution consiste à classer les distributions gaussiennes existantes en catégories stables et instables, et à densifier uniquement les distributions gaussiennes stables.

Expérience

Gaussian-LIC est un roman LiDAR - Système SLAM de champ de rayonnement de caméra inertielle, mis en œuvre un suivi très précis , double fonctionnalité avec reconstruction photoréaliste en ligne avec éclaboussures gaussiennes 3D. Les points LiDAR ombrés dans les coordonnées mondiales produits par une odométrie efficace de caméra inertielle LiDAR sont utilisés comme bons a priori pour aider à la construction incrémentielle de cartes gaussiennes avec une généralisation nettement meilleure dans les scènes intérieures et extérieures.

Possibilité d'amélioration :

Essayez de supprimer les distributions gaussiennes inutiles dans la carte.

Prend en charge divers lidar, essayant actuellement uniquement d'utiliser le lidar à semi-conducteurs.
• L'exposition automatique et le flou de mouvement de l'appareil photo affectent la qualité visuelle des cartes réalistes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!