Gaussian-LIC: 初のマルチセンサー融合 3DGS-SLAM システム (浙江大学 & TUM)

マルチセンサーと 3DGS の組み合わせ

「3D 空間でのサンプリングに基づく計算集約型の SLAM タスクに必要なリアルタイム機能」を暗黙的に表現するには、次のことが必要です。 NeRFベースのSLAM方式に基づいています。 3DGS は、その高速なレンダリング速度と優れたビジュアル品質で際立っています。 3DGS は明確で解釈可能な表現として、シーンの編集をシンプルにし、多数の下流タスクの実行を容易にします。

既存の放射線場ベースの SLAM システムは、主に 明るい小規模屋内環境 でテストされ、シーケンシャル RGB-D または RGB 入力を使用して満足のいく結果が得られます。これらの方法を、困難な照明条件、乱雑な背景、非常に動的な自己の動きなど、制御されていない困難な大規模な屋外シーンに拡張すると、問題が発生します。

3D LIDAR、IMU、カメラ (ALIC と呼ばれる) を含む複数のセンサーからのデータを融合することで、制御されていない屋外シーンで Gaussian-LIC を使用する

• LIDAR に基づく初の 3DGS-SLAM システム慣性カメラフュージョンにより、高精度の姿勢追跡とリアルなオンラインマップ構築を実現します。
• オンライン方法でガウス マップを再構成するには、事前に色分けされた LIDAR 点群を事前分布として使用します。慎重に設計された一連の戦略を利用して、ガウス マップを徐々に拡張し、その密度を適応的に制御して、高い効率と精度を達成します。
• 屋内および屋外のシーンで幅広く実証されており、フォトリアリスティックな地図作成における最新のパフォーマンスを実証しています。非常にダイナミックな動き、低照明、ジオメトリや視覚的テクスチャの欠如など、過酷な条件下でも堅牢性を実証しました。

具体的な方法

図 1 に示すのは、LIC-SLAM システム プロセスです。

3DGS の表現

シーンを異方性 3D ガウス コレクション、各ガウスの分散として表現します。

3D ガウスを画像平面に投影して 2D ガウス分布を取得します。

投影によって取得された 2D ガウスが渡されます。重み付け方程式は、不透明度を介してピクセルに影響します。

輪郭画像をレンダリングして、ピクセルにガウス マップからの十分な情報が含まれているかどうかを判断します。

LiDAR-IMU-カメラ走行距離計

走行距離計は、追跡フロントエンドとして以前の作品 Coco-LIC を採用しており、連続時間密結合 LiDAR 慣性カメラ測距システムです。 Gaussian-LIC は、3 つの相補的なセンサーを統合することにより、強力でリアルタイムかつ高精度の姿勢推定を実現し、SLAM システム全体の動作を容易にします。

最新の LIDAR 慣性カメラ データ (この記事では 0.1 秒) が蓄積されるたびに、その時間間隔内の軌道はファクター グラフに基づいて効率的に最適化されます。

• Lidar 点群マップする
• マップする画像の視覚係数
• IMU係数
• 偏差係数

時間間隔では、最新の画像のみを使用して最適化します。 。

Gaussian-LIC は、0.1 メートルの解像度でボクセルに保存されたグローバル LIDAR マップを維持します。現在の時間間隔内の軌道を最適化した後、効率を向上させるために、その期間内の LIDAR ポイントの 4 分の 1 のみがワールド座標に変換され、ボクセルに追加され、各ボクセル内の LIDAR ポイントの数が確実にそれらの間の距離になります。冗長性を減らすために、0.05 メートルより大きくする必要があります。正常にアタッチされた LIDAR ポイントについては、それらを最新の画像に投影し、ピクセル値をクエリして色付けします。その後、それらは、フレームとみなされる、推定されたカメラ ポーズの最新の画像とともにマッピング スレッドに送信されます。

3DGS に基づく現実的なマッピング

推定されたカメラの姿勢、歪みのない画像、色付きの LIDAR ポイントなどの継続的な入力により、マッピング モジュールが徐々に構築され、主にガウス マップの最適化が行われます。 4 つのステップに分かれています:

1. 初期化: 最初の時間間隔で受信したすべての LIDAR ポイントを使用して、新しいガウス分布を作成します。エイリアシング アーティファクトを軽減するために、イメージ プレーンに近いガウスには小さなスケールを割り当て、イメージ プレーンから遠いガウスには大きなスケールを割り当てます。

#

2. 拡張機能: 通常、受信した各フレームは、新しい表示領域のジオメトリと外観をキャプチャします。重複や非常に類似した情報の冗長性を避けるために、まず式 (6) に従って現在の画像ビューから等高線画像 をレンダリングし、現在のガウス信頼性の低いガウスを選択するためのマスク を生成します。マップ内にピクセルが存在し、新しいエリアを観察する傾向があるため、選択したピクセルに投影できる LIDAR ポイントのみが利用されます:

3. 最適化: 最適化受信したすべての画像を使用することは、オンライン インクリメンタル マッピング システムでは計算上実行不可能であるため、5 つおきの画像フレームがキーフレームとみなされます。計算の複雑さを制限して効率を高めるために、最初と最後のキーフレームを含む アクティブなキーフレームを選択してガウス マップを最適化し、その他のランダムに選択された キーフレームを使用して、致命的な忘却の問題を回避します。地球地図の幾何学的一貫性を維持します。選択した
キーフレームをランダムにシャッフルし、各キーフレームを 1 つずつ繰り返し、再レンダリングの損失を最小限に抑えてマップを最適化します。

適応制御: 特に境界のない屋外環境では、LiDAR スキャンがシーン全体をカバーできない場合があります。したがって、単位体積内のガウスマップを高密度化するための適応制御を実行する必要があります。元の戦略は大きな勾配を持つガウスを固定間隔で処理しますが、インクリメンタル モードでは、まだ収束していないことが多いため、最近追加されたガウスは勾配が大きいために誤って複製または分割される可能性があります。解決策は、既存のガウス分布を安定なカテゴリと不安定なカテゴリに分類し、安定したガウス分布のみを高密度化することです。 ＃＃＃＃＃＃＃＃＃＃＃＃実験＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

##要約とディスカッション

Gaussian-LIC は、新しい LiDAR 慣性カメラ放射場 SLAM システムです。高精度のトラッキングと 3D ガウス スプラッターによるリアルなオンライン再構成の 2 つの機能を備えています。効率的な LiDAR 慣性カメラ オドメトリによって生成された世界座標内のシェーディングされた LiDAR ポイントは、屋内および屋外シーンでの一般化が大幅に改善されたガウス マップの増分構築を支援するための良好な事前分布として使用されます。

改善の余地:

マップ内の不要なガウス分布を削除してみてください。

さまざまな LIDAR をサポートしていますが、現在はソリッドステート LIDAR のみを使用しようとしています。

カメラの自動露出とモーション ブラーは、リアルなマップの視覚的な品質に影響します。

以上がGaussian-LIC: 初のマルチセンサー融合 3DGS-SLAM システム (浙江大学 & TUM)の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。