Gaussian-LIC：首個多感測器融合3DGS-SLAM系統（浙大&TUM）

多重感測器與3DGS的結合

「基於3D空間中的取樣進行計算密集型SLAM任務所需的即時能力」的隱含表達式需要基於NeRF-based SLAM方法。 3DGS以其快速的渲染速度和優越的視覺品質而引人注目。作為一種明確且可以解釋的表達法，3DGS使得場景編輯變得簡單，有利於眾多下游任務的執行。

現有的基於輻射場的SLAM系統，主要在光照良好的小規模室內環境中進行測試，並使用順序RGB-D或RGB輸入獲得令人滿意的結果。當這些方法擴展到具有挑戰性的大規模不受控制的室外場景時將會遇到困難，例如具有挑戰性的光照條件、雜亂的背景和高度動態的自身運動。

使用Gaussian-LIC 透過融合來自多個感測器的數據，包括3D雷射雷達、IMU和相機（稱為ALIC），在不受控制的室外場景中

• 首個基於雷射雷達慣性相機融合的3DGS-SLAM系統，實現了高度精確的姿態追蹤和逼真的線上地圖建構。
• 利用順序著色光達點雲作為先驗，以線上方式重建高斯地圖。利用精心設計的一系列策略，逐步擴展高斯地圖並自適應地控制其密度，以實現高效率和準確性。
• 在室內外場景中經過廣泛驗證，展示了逼真地圖製作的最新表現。在惡劣條件下表現出穩健性，包括高度動態運動、低照明和缺乏幾何結構和視覺紋理。

具體方法

如圖1所示是LIC-SLAM系統流程。

3DGS的表示

#將場景表示為各向異性的3D高斯集合，每個高斯的變異數：

將3D高斯投影到影像平面上，獲得2D高斯分佈：

投影獲得的2D高斯透過不透明度加權方程式影響像素：

渲染輪廓圖像以確定像素是否包含了足夠的來自高斯地圖的資訊：

LiDAR-IMU-Camera里程計

里程計採用了先前的工作Coco-LIC作為追蹤前端，一個連續時間緊密耦合的雷射雷達慣性攝影機測距系統。透過整合三種互補的感測器，Gaussian-LIC實現了強大、即時和高精度的姿態估計，從而促進了整個SLAM系統的運作。

每當最新的 （本文為0.1秒）內的雷射雷達慣性攝影機資料被累積時，會基於因子圖有效地優化該時間間隔內的軌跡：

• 光達點雲到地圖
• 影像到地圖的視覺因子
• IMU因子
• 偏差因子

在時間間隔內我們僅利用最新的影像進行優化。

Gaussian-LIC維護一個以0.1公尺解析度儲存在體素中的全域雷射雷達地圖。在優化當前時間間隔內的軌跡後，為了提高效率，僅將該時間段內四分之一的激光雷達點轉換為世界坐標並附加到體素中，以確保每個體素中的激光雷達點之間的距離應大於0.05米，以減少冗餘。對於成功附加的光達點，將它們投影到最新的圖像上，並透過查詢像素值為其著色。隨後，它們與估計的相機姿態的最新圖像一起發送到映射線程，被視為一幀。

基於3DGS的逼真建圖

隨著持續輸入：估計的相機姿態、無畸變影像、著色的雷射雷達點，建圖模組逐步建構和優化高斯地圖，主要分4步：

1. 初始化：利用在第一個時間間隔內接收到的所有雷射光測點來創建新的高斯分佈。為了減輕混疊偽影，我們為距離較近的高斯分佈分配較小的尺度，而對於遠離影像平面的高斯分佈則分配較大的尺度：

2. 擴充：通常情況下，接收到的每個畫面都會捕捉到新觀察區域的幾何和外觀。為了避免重複或極其相似的資訊冗餘，首先根據方程式(6)從目前影像視圖中渲染出輪廓影像#，並產生一個遮罩，以選擇目前高斯地圖中不可靠的像素，並傾向於觀察新區域，只有能夠投影到所選像素上的光達點才會被利用：

3. 優化：使用所有接收到的圖像進行優化對於我們的線上增量映射系統來說在計算上是不可行的，因此將每五幀圖像視為一個關鍵幀。為了維持有界的計算複雜度以提高效率，我們選擇  個活躍的關鍵幀來優化高斯地圖，包括第一個和最後一個關鍵幀，以及其他隨機選擇的  個關鍵幀，避免了災難性遺忘問題，並保持了全局地圖的幾何一致性。我們隨機打亂所選的  個關鍵幀，並逐一迭代每個關鍵幀，透過最小化重新渲染損失來最佳化地圖：

##自適應控制：雷射雷達掃描可能無法覆蓋整個場景，特別是在無邊界的室外環境中。因此需要執行自適應控制以在單位體積內密集化高斯地圖。原始策略在固定間隔處理具有較大梯度的高斯分佈，而在增量模式下，由於它們通常尚未收斂，最近添加的高斯分佈可能會由於具有較大梯度而被錯誤地克隆或分裂。解決方法是將現有的高斯分佈分類為穩定和不穩定兩類，並只對穩定的高斯分佈進行密集化。

實驗

總結和討論

#Gaussian-LIC 是一種新穎的LiDAR-慣性-相機輻射場SLAM系統，實現了高度準確的追蹤、具有3D高斯噴濺的逼真線上重建的雙重功能。由高效的LiDAR-慣性-相機里程計產生的世界座標中的著色LiDAR點被用作良好的先驗，以輔助高斯地圖的增量建立，在室內和室外場景中具有顯著更好的泛化能力。

改進的空間：
• 嘗試移除地圖中非必要的高斯分佈。
• 支援各種光達，目前只嘗試用固態光達。

相機的自動曝光和動作模糊，影響逼真地圖的視覺品質。

######

以上是Gaussian-LIC：首個多感測器融合3DGS-SLAM系統（浙大&TUM）的詳細內容。更多資訊請關注PHP中文網其他相關文章！