Simulation de conduite avancée : reconstruction de scènes de conduite avec des données surround réalistes

Titre original : DrivingGaussian : Rendu de points gaussiens composites pour les scènes de conduite autonome dynamiques ambiantes

Veuillez cliquer ici pour consulter l'article : https://arxiv.org/pdf/2312.07920.pdf

Lien de code : https://pkuvdig . github.io/DrivingGaussian/

Affiliation de l'auteur : Peking University Google Research University of California, Merced

Idée de thèse :

Cet article propose DrivingGaussian, qui est une solution à haute efficacité et rentable pour les scénarios de conduite autonome dynamique . cadre. Pour les scènes complexes avec des objets en mouvement, cet article utilise d’abord des Gaussiennes 3D statiques incrémentielles pour modéliser séquentiellement et progressivement l’arrière-plan statique de la scène entière. Ensuite, cet article utilise un graphe gaussien dynamique composite pour traiter plusieurs objets en mouvement, reconstruire chaque objet individuellement et restaurer leur position précise et leur relation d'occlusion dans la scène. Cet article utilise en outre les priors LiDAR pour les éclaboussures gaussiennes afin de reconstruire la scène avec plus de détails et de maintenir une cohérence panoramique. DrivingGaussian surpasse les méthodes existantes en matière de reconstruction de scènes de conduite et permet une synthèse réaliste de vue panoramique avec une haute fidélité et une cohérence multi-caméras.

Principales contributions :

Selon cet article, DrivingGaussian est le premier framework à utiliser la technologie composite gaussienne splash pour la représentation et la modélisation dynamiques de scènes de conduite à grande échelle

Introduit deux nouveaux modules, dont le gaussien 3D statique incrémentiel et le dynamique composite Tracés gaussiens. Le premier reconstruit progressivement un arrière-plan statique, tandis que le second modélise plusieurs objets dynamiques à l'aide de cartes gaussiennes. Aidée par les a priori lidar, la méthode permet de récupérer une géométrie complète dans des scénarios de conduite à grande échelle

Des expériences complètes démontrent que DrivingGaussian surpasse les méthodes précédentes sur des références de conduite autonome difficiles et est capable de simuler diverses situations extrêmes pour les tâches en aval

Conception de réseau :

Cet article présente un nouveau cadre appelé DrivingGaussian pour représenter des scénarios de conduite autonome dynamique à vue panoramique. L'idée clé de ce framework est de modéliser hiérarchiquement des scénarios de conduite complexes à l'aide de données séquentielles provenant de plusieurs capteurs. En utilisant la technologie Composite Gaussian Splatting, la scène entière est décomposée en arrière-plans statiques et en objets dynamiques, et chaque partie est reconstruite séparément. Plus précisément, une scène synthétique est d'abord construite séquentiellement à partir de vues multi-caméras en utilisant une méthode gaussienne 3D statique incrémentielle. Ensuite, une carte gaussienne dynamique composite est utilisée pour reconstruire chaque objet en mouvement individuellement et les intégrer dynamiquement dans l'arrière-plan statique via la carte gaussienne. Sur cette base, le rendu global est effectué via Gaussian Splatting pour capturer les relations d'occlusion dans le monde réel, y compris les arrière-plans statiques et les objets dynamiques. De plus, cet article introduit également un a priori LiDAR dans la représentation GS, capable de récupérer des géométries plus précises et de maintenir une meilleure cohérence multi-vues par rapport aux nuages ​​de points générés par initialisation aléatoire ou SfM

Un grand nombre d'expériences montrent que , notre méthode atteint des performances de pointe sur les ensembles de données publics de conduite autonome. Même sans lidar au préalable, notre méthode montre toujours de bonnes performances, démontrant sa polyvalence dans la reconstruction de scènes dynamiques à grande échelle. De plus, le cadre de cet article prend en charge la construction de scènes dynamiques et la simulation de cas extrêmes, ce qui permet de vérifier la sécurité et la robustesse du système de conduite autonome.

Figure 1. DrivingGaussian atteint des performances de rendu réalistes de scènes de conduite autonome dynamiques à vue panoramique. Les méthodes naïves [13, 49] produisent des artefacts désagréables et un flou dans les arrière-plans à grande échelle ou ont des difficultés à reconstruire des objets dynamiques et une géométrie détaillée de la scène. DrivingGaussian a introduit pour la première fois le Composite Gaussian Splatting pour représenter efficacement des arrière-plans statiques et plusieurs objets dynamiques dans des scènes de conduite complexes à vue panoramique. DrivingGaussian permet une synthèse de haute qualité de vues surround sur plusieurs caméras et facilite la reconstruction dynamique de scènes à long terme.

Figure 2. Le processus global de la méthode dans cet article. À gauche : DrivingGaussian acquiert des données continues provenant de plusieurs capteurs, notamment des images multi-caméras et LiDAR. Centre : Pour représenter des scénarios de conduite dynamique à grande échelle, cet article propose le Composite Gaussian Splatting, qui se compose de deux parties. La première partie reconstruit progressivement un large arrière-plan statique, tandis que la seconde partie utilise des cartes gaussiennes pour construire plusieurs objets dynamiques et les intégrer dynamiquement dans la scène. À droite : DrivingGaussian démontre de bonnes performances sur plusieurs tâches et scénarios d’application.

Figure 3. Splatting gaussien composite avec tracés gaussiens 3D statiques incrémentiels et gaussiens dynamiques. Cet article utilise le Composite Gaussian Splatting pour décomposer la scène entière en arrière-plans statiques et objets dynamiques, reconstruire chaque partie séparément et les intégrer pour un rendu global.

Résultats expérimentaux :

Résumé :

Cet article présente DrivingGaussian, une méthode basée sur le Composite Gaussian Splatting A proposé un nouveau cadre pour représenter des scénarios de conduite autonome dynamique à grande échelle. DrivingGaussian modélise progressivement un arrière-plan statique à l'aide de gaussiennes 3D statiques incrémentielles et capture plusieurs objets en mouvement à l'aide de cartes gaussiennes dynamiques composites. Cet article exploite davantage les priors LiDAR pour obtenir une géométrie précise et une cohérence multi-vues. DrivingGaussian atteint des performances de pointe sur deux ensembles de données de conduite autonome, permettant une synthèse de vue surround de haute qualité et une reconstruction dynamique de scènes

Citation :

Zhou, X., Lin, Z., Shan, X. , Wang, Y., Sun, D. et Yang, M. (2023). DrivingGaussian : éclaboussures gaussiennes composites pour les scènes de conduite autonomes dynamiques environnantes /abs/2312.07920

Lien original :https://. www.php.cn/link/a878dbebc902328b41dbf02aa87abb58

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!