고급 주행 시뮬레이션: 사실적인 서라운드 데이터를 사용한 주행 장면 재구성

원제: DrivingGaussian: 주변 동적 자율 주행 장면을 위한 복합 가우스 포인트 렌더링

논문을 보려면 여기를 클릭하세요: https://arxiv.org/pdf/2312.07920.pdf

코드 링크: https://pkuvdig . github.io/DrivingGaussian/

저자 소속: Peking University Google Research University of California, Merced

논문 아이디어:

이 논문은 동적 자율 주행 시나리오를 위한 고효율 및 비용 효율적인 솔루션인 DrivingGaussian을 제안합니다. . 액자. 움직이는 객체가 있는 복잡한 장면의 경우 이 논문에서는 먼저 증분 정적 3D 가우시안을 사용하여 전체 장면의 정적 배경을 순차적이고 점진적으로 모델링합니다. 그런 다음 본 논문에서는 복합 동적 가우스 그래프를 사용하여 움직이는 여러 개체를 처리하고 각 개체를 개별적으로 재구성하며 장면에서 정확한 위치와 폐색 관계를 복원합니다. 이 문서에서는 Gaussian Splatting에 대한 LiDAR 사전 분석을 사용하여 장면을 더 자세히 재구성하고 파노라마 일관성을 유지합니다. DrivingGaussian은 운전 장면 재구성에서 기존 방법보다 성능이 뛰어나며 높은 충실도와 다중 카메라 일관성으로 사실적인 서라운드 뷰 합성을 가능하게 합니다.

주요 기여:

이 기사에 따르면 DrivingGaussian은 대규모 동적 운전 장면 표현 및 모델링을 위해 복합 가우스 스플래시 기술을 사용하는 최초의 프레임워크입니다.

증분 정적 3D 가우스 및 복합 동적을 포함한 두 가지 새로운 모듈을 소개합니다. 가우스 플롯. 전자는 정적 배경을 점진적으로 재구성하는 반면, 후자는 가우시안 맵을 사용하여 여러 동적 객체를 모델링합니다. LiDAR Priors의 도움을 받아 이 방법은 대규모 운전 시나리오에서 완전한 형상을 복구하는 데 도움이 됩니다.

포괄적인 실험을 통해 DrivingGaussian이 까다로운 자율 주행 벤치마크에서 이전 방법보다 성능이 뛰어나고 다운스트림 작업에 대한 다양한 극한 상황을 시뮬레이션할 수 있음이 입증되었습니다.

네트워크 설계:

이 문서에서는 서라운드 뷰의 동적 자율 주행 시나리오를 표현하기 위한 DrivingGaussian이라는 새로운 프레임워크를 소개합니다. 이 프레임워크의 핵심 아이디어는 여러 센서의 순차적 데이터를 사용하여 복잡한 운전 시나리오를 계층적으로 모델링하는 것입니다. Composite Gaussian Splatting 기술을 사용하여 전체 장면을 정적 배경과 동적 개체로 분해하고 각 부분을 별도로 재구성합니다. 특히 합성 장면은 먼저 증분 정적 3D 가우스 방법을 사용하여 다중 카메라 둘러보기 뷰에서 순차적으로 구성됩니다. 그런 다음, 복합 동적 가우시안 맵을 사용하여 움직이는 각 개체를 개별적으로 재구성하고 가우시안 맵을 통해 정적 배경에 동적으로 통합합니다. 이를 기반으로 Gaussian Splatting을 통해 전역 렌더링을 수행하여 정적 배경 및 동적 개체를 포함한 현실 세계의 폐색 관계를 캡처합니다. 또한 이 논문에서는 GS 표현에 앞서 LiDAR을 도입합니다. 이는 무작위 초기화 또는 SfM을 사용하여 생성된 포인트 클라우드에 비해 더 정확한 형상을 복구하고 더 나은 다중 뷰 일관성을 유지할 수 있습니다.

많은 수의 실험에서 우리의 방법은 공공 자율 주행 데이터 세트에서 최첨단 성능을 달성합니다. 사전에 LiDAR가 없더라도 우리의 방법은 여전히 ​​좋은 성능을 보여 대규모 동적 장면을 재구성하는 데 있어 다양성을 보여줍니다. 또한 이 기사의 프레임워크는 동적 장면 구성 및 코너 케이스 시뮬레이션을 지원하여 자율 주행 시스템의 안전성과 견고성을 검증하는 데 도움이 됩니다.

그림 1. DrivingGaussian은 서라운드 뷰의 역동적인 자율 주행 장면의 사실적인 렌더링 성능을 달성합니다. 순진한 방법[13, 49]은 대규모 배경에서 불쾌한 아티팩트와 흐릿함을 생성하거나 동적 객체와 상세한 장면 형상을 재구성하는 데 어려움을 겪습니다. DrivingGaussian은 복잡한 서라운드 뷰 운전 장면에서 정적 배경과 여러 동적 객체를 효과적으로 표현하기 위해 처음으로 Composite Gaussian Splatting을 도입했습니다. DrivingGaussian은 여러 카메라에 걸쳐 서라운드 뷰를 고품질로 합성하고 장기적으로 역동적인 장면 재구성을 촉진합니다.

그림 2. 이 문서에 나오는 방법의 전체 프로세스입니다. 왼쪽: DrivingGaussian은 다중 카메라 이미지 및 LiDAR를 포함한 여러 센서로부터 연속 데이터를 수집합니다. 가운데: 대규모 동적 주행 시나리오를 표현하기 위해 본 논문에서는 두 부분으로 구성된 Composite Gaussian Splatting을 제안합니다. 첫 번째 부분은 광범위한 정적 배경을 점진적으로 재구성하는 반면, 두 번째 부분은 가우시안 맵을 사용하여 여러 동적 개체를 구성하고 이를 장면에 동적으로 통합합니다. 오른쪽: DrivingGaussian은 여러 작업 및 애플리케이션 시나리오에서 우수한 성능을 보여줍니다.

그림 3. 증분 정적 3D 가우스 플롯과 동적 가우스 플롯을 사용한 복합 가우스 스플래팅. 이 기사에서는 Composite Gaussian Splatting을 사용하여 전체 장면을 정적 배경과 동적 개체로 분해하고 각 부분을 개별적으로 재구성한 후 전역 렌더링을 위해 통합합니다.

실험 결과:

요약:

이 글에서는 제안된 Composite Gaussian Splatting A 기반의 방법인 DrivingGaussian을 소개합니다. 대규모의 동적 자율 주행 시나리오를 표현하기 위한 새로운 프레임워크입니다. DrivingGaussian은 증분 정적 3D 가우스를 사용하여 정적 배경을 점진적으로 모델링하고 복합 동적 가우스 맵을 사용하여 여러 움직이는 객체를 캡처합니다. 이 백서는 정확한 형상과 다중 뷰 일관성을 달성하기 위해 LiDAR 사전을 추가로 활용합니다. DrivingGaussian은 두 가지 자율 주행 데이터 세트에서 최첨단 성능을 달성하여 고품질 서라운드 뷰 합성 및 동적 장면 재구성을 가능하게 합니다.

인용:

Zhou, X., Lin, Z., Shan, X. , Wang, Y., Sun, D., & Yang, M. (2023). DrivingGaussian: 주변의 동적 자율 주행 장면을 위한 복합 가우스 스플래팅 ArXiv /abs/2312.07920

원본 링크:https:/ / www.php.cn/link/a878dbebc902328b41dbf02aa87abb58

위 내용은 고급 주행 시뮬레이션: 사실적인 서라운드 데이터를 사용한 주행 장면 재구성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!