Gaussian-LIC: 최초의 다중 센서 융합 3DGS-SLAM 시스템(Zhejiang University & TUM)

다중 센서와 3DGS의 결합

"3D 공간 샘플링을 기반으로 하는 계산 집약적인 SLAM 작업에 필요한 실시간 기능"이라는 암묵적 표현에는 NeRF 기반+SLAM 방법이 필요합니다. 3DGS는 빠른 렌더링 속도와 뛰어난 시각적 품질이 돋보입니다. 명확하고 해석 가능한 표현인 3DGS는 장면 편집을 단순화하고 수많은 다운스트림 작업의 실행을 용이하게 합니다.

기존 방사선장 기반 SLAM 시스템은 주로 조명이 좋은 소규모 실내 환경에서 테스트되었으며 순차적 RGB-D 또는 RGB 입력을 사용하여 만족스러운 결과를 얻습니다. 이러한 방법을 까다로운 조명 조건, 어수선한 배경, 매우 역동적인 자체 모션과 같이 제어되지 않는 대규모 실외 장면으로 확장하면 어려움에 직면하게 됩니다.

Gaussian-LIC+를 사용하여 통제되지 않은 야외 장면에서 3D LiDAR, IMU 및 카메라(ALIC이라고 함)를 포함한 여러 센서의 데이터를 융합합니다.

• LiDAR 관성 카메라 융합 -SLAM 시스템을 기반으로 한 최초의 3DGS로 매우 정확한 자세 추적 달성 현실적인 온라인 지도 구축.
• 온라인 방식으로 가우시안 맵을 재구성하기 위해 순차적으로 색상이 지정된 LiDAR 포인트 클라우드를 사전에 활용합니다. 신중하게 설계된 일련의 전략을 활용하여 가우스 맵을 점진적으로 확장하고 밀도를 적응적으로 제어하여 높은 효율성과 정확성을 달성합니다.
• 실내 및 실외 장면에서 광범위하게 입증되었으며, 사실적인 지도 제작 분야의 최신 성능을 보여줍니다. 매우 역동적인 모션, 낮은 조명, 기하학 및 시각적 질감 부족 등 열악한 조건에서도 견고성을 입증했습니다.

구체적인 방법

그림 1과 같이 LIC-SLAM 시스템 프로세스입니다. 3DGS의 발표 율 각 가우시안의 차이와 함께 3D 가우시안의 이방성 컬렉션으로 장면을 표현합니다.

투영으로 얻은 2D 가우스는 불투명도 가중치 방정식을 통해 픽셀에 영향을 미칩니다.

픽셀에 가우시안 지도의 충분한 정보가 포함되어 있는지 확인하기 위해 윤곽선 이미지 렌더링:

LiDAR -IMU-카메라 주행 거리계

Odometer는 이전 작업인 Coco-LIC를 추적 프런트 엔드로 채택했으며 연속 시간 긴밀하게 결합된 LiDAR 관성 카메라 주행 거리 측정 시스템입니다. Gaussian-LIC는 3개의 보완 센서를 통합하여 강력한 실시간 고정밀 자세 추정을 달성함으로써 전체 SLAM 시스템의 작동을 촉진합니다.

최신(이 기사에서는 0.1초) LiDAR 관성 카메라 데이터가 누적될 때마다 해당 시간 간격 내의 궤적이 요인 그래프를 기반으로 효율적으로 최적화됩니다.

Lidar point cloud to map

image 지도

IMU 요소

바이어스 요소

시간 간격에서는 최적화를 위해 최신 이미지만 활용합니다.

Gaussian-LIC는 0.1미터 해상도의 복셀에 저장된 전역 LiDAR 맵을 유지 관리합니다. 현재 시간 간격 내에서 궤적을 최적화한 후 효율성을 높이기 위해 해당 기간의 LiDAR 지점 중 4분의 1만 세계 좌표로 변환되고 복셀에 추가되어 각 복셀의 LiDAR 지점 수가 다음과 같도록 보장합니다. 중복을 줄이려면 0.05미터보다 커야 합니다. 성공적으로 부착된 라이더 포인트의 경우 이를 최신 이미지에 투영하고 픽셀 값을 쿼리하여 색상을 지정합니다. 그 후, 프레임으로 간주되는 추정된 카메라 포즈의 최신 이미지와 함께 매핑 스레드로 전송됩니다.

• 3DGS를 기반으로 한 현실적인 매핑
• 연속 입력: 추정된 카메라 포즈, 왜곡 없는 이미지, 컬러 라이더 포인트, 매핑 모듈은 주로 4단계로 점진적으로 가우스 맵을 구축하고 최적화합니다.
• 초기화: 생성 첫 번째 시간 간격 동안 수신된 모든 라이더 포인트를 사용하는 새로운 가우스 분포. 앨리어싱 아티팩트를 완화하기 위해 이미지 평면에 더 가까운 가우시안에는 작은 스케일을 할당하고 이미지 평면에서 멀리 있는 가우시안에는 큰 스케일을 할당합니다.

2. 확장: 일반적으로 수신된 각 프레임은 새로운 보기 영역의 형상과 모양을 캡처합니다. 중복이나 매우 유사한 정보 중복을 피하기 위해 먼저 방정식 (6)에 따라 현재 이미지 뷰에서 윤곽 이미지 를 렌더링하고 마스크 를 생성하여 현재 가우스 맵에서 신뢰할 수 없는 픽셀을 선택하고 관찰하는 경향이 있습니다. 새로운 영역에서는 선택한 픽셀에 투사할 수 있는 LiDAR 점만 활용됩니다.

3. 최적화: 수신된 모든 이미지를 온라인 증분 매핑 시스템의 최적화에 사용합니다. 이는 계산상 불가능하므로 다섯 번째 이미지 프레임마다 고려됩니다. 키프레임. 효율성을 위해 계산 복잡성을 제한하기 위해 첫 번째와 마지막 키프레임을 포함하여 가우스 맵을 최적화하기 위해 활성 키프레임을 선택하고 재난을 방지하기 위해 무작위로 선택된 키프레임을 선택하여 성적 망각 문제를 해결하고 기하학적인 키프레임을 유지합니다. 세계지도의 일관성. 선택한 키프레임을 무작위로 섞고 각 키프레임을 하나씩 반복하여 재렌더링 손실을 최소화하여 지도를 최적화합니다.

4. 적응형 제어: LiDAR 스캔은 특히 경계선이 없는 경우 전체 장면을 포함하지 못할 수 있습니다. 야외 환경. 따라서 단위 부피 내에서 가우시안 맵을 치밀화하기 위해 적응 제어를 수행하는 것이 필요합니다. 원래 전략은 고정된 간격으로 큰 기울기가 있는 가우스를 처리하는 반면, 증분 모드에서는 아직 수렴되지 않은 경우가 많기 때문에 최근에 추가된 가우스가 큰 기울기로 인해 잘못 복제되거나 분할될 수 있습니다. 해결책은 기존 가우스 분포를 안정적인 범주와 불안정한 범주로 분류하고 안정적인 가우스 분포만 치밀화하는 것입니다.

실험

요약 및 토론

Gaussian-LIC은 소설입니다 LiDAR - 관성 카메라 방사장 SLAM 시스템, 고정밀 추적 구현 , 3D 가우스 스플래터의 사실적인 온라인 재구성을 통한 이중 기능. 효율적인 LiDAR 관성 카메라 주행 거리계로 생성된 세계 좌표의 음영 처리된 LiDAR 점은 실내 및 실외 장면에서 훨씬 더 나은 일반화를 통해 가우스 맵의 증분 구축을 지원하기 위한 좋은 사전 요소로 사용됩니다.

개선 여지:

• 맵에서 불필요한 가우스 분포를 제거해 보세요.
• 다양한 LiDAR를 지원하며 현재는 고체 LiDAR만 사용하려고 합니다.
• 카메라의 자동 노출과 모션 블러는 사실적인 지도의 시각적 품질에 영향을 미칩니다.

위 내용은 Gaussian-LIC: 최초의 다중 센서 융합 3DGS-SLAM 시스템(Zhejiang University & TUM)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!