최근 Waabi AI, 토론토 대학교, 워털루 대학교, MIT 연구진은 NeurIPS 2023에서 새로운 자율주행 조명 시뮬레이션 플랫폼 LightSim을 제안했습니다. 연구자들은 실제 데이터로부터 쌍을 이루는 조명 훈련 데이터를 생성하여 데이터 누락 및 모델 이동 손실 문제를 해결하는 방법을 제안했습니다. LightSim은 NeRF(신경방사선장)와 물리 기반 심층 네트워크를 사용하여 차량 운전 비디오를 렌더링하고 최초로 대규모 실제 데이터에서 동적 장면의 조명 시뮬레이션을 달성합니다. 
- 프로젝트 웹사이트: https://waabi.ai/lightsim
- 논문 링크: https://openreview.net/pdf?id=mcx8IGneYw
자율주행 조명 시뮬레이션이 필요한 이유는 무엇입니까? 로봇공학에서 카메라 시뮬레이션은 매우 중요하며, 특히 자율주행차가 야외 장면을 인식하는 경우 더욱 그렇습니다. 그러나 기존 카메라 인식 시스템은 훈련 중에 학습되지 않은 실외 조명 조건에 직면하면 제대로 작동하지 않습니다. 카메라 시뮬레이션을 통해 실외 조명 변화에 대한 풍부한 데이터 세트를 생성하면 자율 주행 시스템의 견고성을 향상시킬 수 있습니다. 일반적인 카메라 시뮬레이션 방법은 일반적으로 물리 엔진을 기반으로 합니다. 3D 모델과 조명 조건을 설정하여 장면을 렌더링하는 방법입니다. 그러나 시뮬레이션 효과는 종종 다양성이 부족하고 충분히 현실적이지 않습니다. 게다가 고품질 3D 모델의 수가 제한되어 있기 때문에 물리적 렌더링 결과가 실제 장면과 정확하게 일치하지 않습니다. 이로 인해 실제 데이터에 대해 훈련된 모델의 일반화 능력이 저하됩니다. 다른 하나는 데이터 기반 시뮬레이션 방식을 기반으로 합니다. 신경 렌더링을 사용하여 센서에서 관찰한 데이터를 복제하는 실제 디지털 트윈을 재구성합니다. 이 접근 방식을 사용하면 확장 가능한 장면 생성과 현실감 향상이 가능하지만 기존 기술은 장면 조명을 3D 모델에 굽는 경우가 많아 조명 조건 변경, 새 개체 추가 또는 삭제 등의 디지털 트윈 편집을 방해합니다. NeurIPS 2023의 작업에서 Waabi AI의 연구원들은 물리 엔진과 신경망 LightSim: 도시 장면을 위한 신경 조명 시뮬레이션을 기반으로 한 조명 시뮬레이션 시스템을 시연했습니다.
LightSim은 이전 작업과 다릅니다. 동시 달성: 1. 현실적: 처음으로 대규모 실외 동적 장면의 조명 시뮬레이션을 달성했으며 그림자, 객체 간 조명 효과 등을 보다 정확하게 시뮬레이션할 수 있습니다. 2. 제어 가능: 보다 사실적이고 일관된 비디오를 생성하기 위해 동적 운전 장면 편집(객체 추가, 삭제, 카메라 위치 및 매개변수, 조명 변경, 안전에 중요한 장면 생성 등)을 지원합니다. 조명 및 가장자리 조건. 3. 확장 가능: 더 많은 시나리오와 다양한 데이터 세트로 쉽게 확장할 수 있습니다. 데이터를 한 번만 수집하면(단일 패스) 실제 제어 가능한 시뮬레이션 테스트를 재구성하고 수행할 수 있습니다. 
디지털 세계의 자율 주행 장면을 재구성하기 위해 LightSim은 먼저 수집된 데이터 동적 객체와 정적 장면을 구분합니다. 이 단계에서는 UniSim을 사용하여 장면을 재구성하고 네트워크에서 카메라 뷰 종속성을 제거합니다. 그런 다음 행진 큐브를 사용하여 형상을 얻은 다음 기본 재료가 포함된 메시로 추가 변환합니다. LightSim은 재료 및 기하학 외에도 주간 야외 장면의 주요 광원인 태양과 하늘을 기반으로 실외 조명을 추정하고 높은 동적 범위 환경 맵(HDR 스카이 돔)을 얻을 수도 있습니다. LightSim은 센서 데이터와 추출된 형상을 사용하여 불완전한 파노라마 이미지를 추정한 다음 이를 완성하여 하늘의 전체 360° 뷰를 얻을 수 있습니다. 그런 다음 이 파노라마 이미지와 GPS 정보를 사용하여 태양 강도, 태양 방향 및 하늘 모양을 정확하게 추정하는 HDR 환경 지도를 생성합니다. 
2단계: 역동적인 도시 장면의 신경 조명 시뮬레이션 디지털 트윈을 얻은 후에도 객체 추가 또는 제거, 차량 궤적 변경, 조명 변경 등 추가로 수정할 수 있습니다. 증강 현실의 표현을 생성합니다. LightSim은 물리적 기반 렌더링을 수행하여 장면 수정을 위한 기본 색상, 깊이, 법선 벡터 및 그림자와 같은 조명 관련 데이터를 생성합니다. 이 조명 관련 데이터와 장면의 소스 및 대상 조명 조건에 대한 추정을 사용하여 LightSim 워크플로는 다음과 같습니다. 
물리 기반으로 렌더링된 이미지는 장면의 조명 효과를 잘 재구성하는 반면, 형상의 불완전성과 재료/조명 분해의 오류로 인해 렌더링 결과는 흐릿하고 비현실적인 표면 반사 및 경계 아티팩트와 같은 사실성이 부족한 경우가 많습니다. 따라서 연구자들은 현실감을 높이기 위해 신경 지연 렌더링을 제안했습니다. 그들은 소스 이미지와 렌더링 엔진에서 생성된 조명 관련 데이터의 미리 계산된 버퍼를 가져와 최종 이미지를 생성하는 이미지 합성 네트워크를 도입했습니다. 동시에, 논문의 방법은 조명 상황을 향상시키기 위해 환경 맵을 네트워크에 제공하고, 디지털 트윈을 통해 쌍을 이루는 이미지를 생성하여 새로운 쌍별 시뮬레이션 및 실제 데이터 훈련 방식을 제공합니다. LightSim은 새로운 조명 조건에서 시간 일관성 있는 방식으로 동일한 장면을 렌더링할 수 있습니다. 영상에서 볼 수 있듯이, 새로운 태양 위치와 하늘의 모습은 장면의 그림자와 모습을 변화시킵니다. 
LightSim은 일괄적으로 장면 재조명을 수행하여 추정 및 실제 HDR 환경 맵에서 동일한 장면에 대한 새로운 시간 일관성 및 3D 인식 조명 변경을 생성할 수 있습니다. 
LightSim의 조명 표현은 편집 가능하며 태양의 방향을 변경할 수 있으므로 태양 빛의 방향과 관련된 조명 변화와 그림자를 업데이트할 수 있습니다. LightSim은 HDR 환경 맵을 회전하고 이를 신경망 지연 렌더링 모듈에 전달하여 다음 비디오를 생성합니다. 
LightSim은 일괄적으로 그림자 편집을 수행할 수도 있습니다. 
LightSim은 조명을 수정하는 것 외에도 건축 장애물과 같은 흔하지 않은 개체에 조명 인식 추가 작업을 수행할 수도 있습니다. 이렇게 추가된 개체는 개체의 조명 그림자를 업데이트하고 개체를 정확하게 가리며 전체 카메라 구성에 공간적으로 적응할 수 있습니다. 
LightSim의 신경 지연 렌더링 네트워크는 여러 운전 비디오에 대해 훈련되었기 때문에 LightSim은 새로운 장면에 일반화될 수 있습니다. 다음 비디오는 NuScenes의 운전 장면을 일반화하는 LightSim의 기능을 보여줍니다. LightSim은 각 장면의 조명 인식 디지털 트윈을 구축한 다음 PandaSet에서 사전 훈련된 신경 지연 렌더링 모델에 적용합니다. LightSim 마이그레이션은 잘 수행되며 상대적으로 강력하게 장면을 다시 조명할 수 있습니다. 
위에 표시된 모든 기능을 기반으로 LightSim은 제어 가능하고 다양하며 현실적인 카메라 시뮬레이션을 구현합니다. 다음 비디오는 LightSim의 장면 시뮬레이션 기능을 보여줍니다. 영상에서 흰색 차량은 SDV 차선으로 긴급 차선 변경을 하여 새로운 장애물을 도입했으며 이로 인해 흰색 차량은 완전히 새로운 장면으로 진입하게 되었습니다. 새로운 장면의 다양한 조명 조건에서 LightSim이 생성한 효과는 다음과 같습니다. : .
아래 동영상에는 새로운 도로 장애물을 삽입한 후 새로운 차량 세트가 추가된 또 다른 예가 나와 있습니다. LightSim으로 구축된 시뮬레이션 조명을 사용하면 새로 추가된 차량을 장면에 원활하게 통합할 수 있습니다. 
LightSim은 대규모 동적 운전 장면을 처리하는 데 도움이 되는 조명 인식 카메라 시뮬레이션 플랫폼입니다. 실제 데이터를 기반으로 조명 인식 디지털 트윈을 구축하고 이를 수정하여 다양한 개체 레이아웃과 SDV 관점을 갖춘 새로운 장면을 만들 수 있습니다. LightSim은 다양하고 사실적이며 제어 가능한 카메라 시뮬레이션을 위해 장면의 새로운 조명 조건을 시뮬레이션하여 시간적/공간적으로 일관된 비디오를 생성할 수 있습니다. LightSim을 역방향 렌더링, 날씨 시뮬레이션 및 기타 기술과 결합하여 시뮬레이션 성능을 더욱 향상시킬 수도 있다는 점은 주목할 가치가 있습니다. 위 내용은 LightSim: 현실적이고 제어 가능하며 확장 가능한 시뮬레이션 경험을 달성하기 위해 NeurIPS 2023에서 출시된 자율 주행 조명 시뮬레이션 플랫폼의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
