進階駕駛模擬：逼真環視資料的駕駛場景重建

原標題：DrivingGaussian：用於周圍動態自動駕駛場景的複合高斯點狀繪製

請點擊這裡查看論文：https://arxiv.org/pdf/2312.07920.pdf

程式碼連結：https://pkuvdig.github.io/DrivingGaussian/

#作者單位：北京大學Google研究加州大學默塞德分校

##論文想法：

本文提出DrivingGaussian，這是一個針對動態自動駕駛場景的高效率和高效益的框架。對於具有移動物體的複雜場景，本文首先使用增量靜態3D高斯 (incremental static 3D Gaussians) 順序漸進地對整個場景的靜態背景進行建模。然後，本文利用複合動態高斯圖(composite dynamic Gaussian graph) 來處理多個移動物體，單獨重建每個物體並恢復它們在場景中的準確位置和遮蔽關係。本文進一步使用 LiDAR 先驗進行 Gaussian Splatting 來重建具有更多細節的場景並保持全景一致性。 DrivingGaussian 在駕駛場景重建方面優於現有方法，並能夠實現具有高保真度和多相機一致性的逼真環景合成。

主要貢獻：

根據本文了解，DrivingGaussian是第一個使用複合高斯飛濺技術進行大規模動態駕駛場景表示和建模的框架

引入了兩個新穎的模組，包括增量靜態3D高斯和複合動態高斯圖。前者增量地重建靜態背景，而後者則使用高斯圖對多個動態物件進行建模。在雷射雷達先驗的輔助下，該方法有助於在大規模駕駛場景中恢復完整的幾何形狀

綜合實驗證明，DrivingGaussian在具有挑戰性的自動駕駛基準測試中優於先前的方法，並且能夠模擬各種極端情況以進行下游任務

網絡設計：

本文介紹了一種名為DrivingGaussian的新型框架，用於表示環視動態自動駕駛場景。該框架的關鍵思想是使用來自多個感測器的順序資料對複雜的駕駛場景進行分層建模。透過採用Composite Gaussian Splatting技術，將整個場景分解為靜態背景和動態物體，並分別對每個部分進行重建。具體而言，首先使用增量靜態3D高斯方法從環視多相機視圖順序建立綜合場景。然後，採用複合動態高斯圖單獨重建每個運動物體，並透過高斯圖將它們動態地整合到靜態背景中。在此基礎上，透過Gaussian Splatting進行全域渲染，捕捉現實世界中的遮蔽關係，包括靜態背景和動態物件。此外，本文還在GS表示中引入了LiDAR先驗，相較於使用隨機初始化或SfM產生的點雲，它能夠恢復更精確的幾何形狀並保持更好的多視圖一致性

#大量的實驗表明，本文的方法在公共自動駕駛資料集上實現了最先進的性能。即使事先沒有光達，本文的方法仍然表現出良好的性能，證明了其在重建大規模動態場景方面的多功能性。此外，本文的框架支援動態場景建構和極端情況(corner case)模擬，有助於驗證自動駕駛系統的安全性和穩健性。

圖 1. DrivingGaussian 實現了環視動態自動駕駛場景的逼真渲染效能。樸素的方法 [13, 49] 要麼在大範圍背景中產生 unpleasant 偽影和模糊，要麼難以重建動態物體和詳細的場景幾何形狀。 DrivingGaussian 首先引入了 Composite Gaussian Splatting 來有效地表示複雜的環景駕駛場景中的靜態背景和多個動態物體。 DrivingGaussian 能夠跨越多相機高品質合成環視視圖，並促進長期動態場景重建。

圖 2.本文方法的整體流程。左：DrivingGaussian 從多感測器獲取連續數據，包括多相機影像和 LiDAR。中：為了表示大規模動態駕駛場景，本文提出了 Composite Gaussian Splatting ，它由兩個部分組成。第一部分增量地重建廣泛的靜態背景，而第二部分使用高斯圖建構多個動態物件並將它們動態地整合到場景中。右圖：DrivingGaussian 在多個任務和應用情境中展現了良好的效能。

圖 3. 具有增量靜態3D高斯和動態高斯圖的 Composite Gaussian Splatting 。本文採用 Composite Gaussian Splatting 將整個場景分解為靜態背景和動態物體，分別重建每個部分並整合它們進行全局渲染。

實驗結果：

#總結：

本文介紹了DrivingGaussian，一個基於所提出的Composite Gaussian Splatting來表示大規模動態自動駕駛場景的新穎框架。 DrivingGaussian使用增量靜態3D高斯逐步對靜態背景進行建模，並使用複合動態高斯圖捕捉多個移動物體。本文進一步利用LiDAR先驗來實現精確的幾何結構和多視圖一致性。 DrivingGaussian在兩個自動駕駛資料集上實現了最先進的性能，實現了高品質的環視圖合成和動態場景重建

#引用：

Zhou, X., Lin, Z., Shan, X., Wang, Y., Sun, D., & Yang, M. (2023). DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes. ArXiv. /abs/2312.07920

原文連結:###https://www.php.cn/link/a878dbebc902328b41dbf02aa87abb58######

以上是進階駕駛模擬：逼真環視資料的駕駛場景重建的詳細內容。更多資訊請關注PHP中文網其他相關文章！