자율주행을 위해 탄생한 Lightning NeRF: 10배 더 빨라짐

위 작성 및 저자의 개인적인 이해

최근 연구에서는 자율 주행 환경에서 NeRF의 적용 가능성을 강조했습니다. 그러나 운전 장면의 제한된 시점과 결합된 실외 환경의 복잡성으로 인해 장면 형상을 정확하게 재구성하는 작업이 복잡해집니다. 이러한 문제로 인해 재구성 품질이 저하되고 훈련 및 렌더링 기간이 길어지는 경우가 많습니다. 이러한 과제를 해결하기 위해 우리는 Lightning NeRF를 출시했습니다. 자율 주행 시나리오에서 라이더의 기하학적 사전점을 효과적으로 활용하는 효율적인 하이브리드 장면 표현을 사용합니다. Lightning NeRF는 NeRF의 새로운 뷰 합성 성능을 크게 향상시키고 계산 오버헤드를 줄입니다. KITTI-360, Argoverse2와 같은 실제 데이터 세트 및 개인 데이터 세트에 대한 평가를 통해 우리의 방법이 새로운 뷰 합성 품질에서 현재의 최첨단 기술을 능가할 뿐만 아니라 훈련 속도도 향상됨을 입증합니다. 2배 더 빠르고 렌더링도 10배 더 빠릅니다. H 코드 링크: https://gision-sjtu/lightning-insf

Lightning Nerf

preliminaries

nerf 함수 시나리오 접근 방식에 대한 자세한 설명, 이러한 암시적 함수는 일반적으로 다음과 같이 매개변수화됩니다. MLP. 보는 방향 d를 기준으로 장면 내 3D 지점 x의 색상 값 c와 볼륨 밀도 예측 σ를 반환할 수 있습니다.

픽셀을 렌더링하기 위해 NeRF는 계층적 볼륨 샘플링을 사용하여 광선 r을 따라 일련의 점을 생성한 다음 축적을 통해 이러한 위치에서 예측된 밀도와 색상 특징을 결합합니다.

NeRF는 새로운 관점 합성에서 좋은 성능을 발휘하지만, 긴 훈련 시간과 느린 렌더링 속도는 주로 샘플링 전략의 비효율성으로 인해 발생합니다. 모델의 효율성을 향상시키기 위해 훈련 중에 대략적인 그리드 점유를 유지하고 점유된 볼륨 내의 샘플 위치만 유지합니다. 이 샘플링 전략은 기존 작업과 유사하며 모델 성능을 향상하고 훈련 속도를 높이는 데 도움이 됩니다.

하이브리드 장면 표현

하이브리드 볼륨 표현이 컴팩트 모델을 사용하여 최적화되고 빠르게 렌더링되었습니다. 이를 고려하여 우리는 효율성을 향상시키기 위해 방사선장을 모델링하기 위해 하이브리드 복셀 그리드 표현을 채택했습니다. 간단히 말해서, 메쉬 정점에 σ를 저장하고 얕은 MLP를 사용하여 f를 최종 색상 c에 암시적으로 디코딩하여 체적 밀도를 명시적으로 모델링합니다. 실외 환경의 경계 없는 특성을 처리하기 위해 그림 2와 같이 장면 표현을 전경과 배경의 두 부분으로 나눕니다. 구체적으로, 우리는 궤적 시퀀스의 각 프레임에서 카메라 절두체를 검사하고 정렬된 좌표계의 모든 절두체를 단단히 감싸도록 전경 경계 상자를 정의합니다. 배경 상자는 각 차원에 따라 전경 상자의 크기를 확대하여 얻습니다.

복셀 그리드 표현

. 복셀 메시 표현은 효율적인 기능 쿼리를 지원하기 위해 메시 정점에 장면 속성(예: 밀도, RGB 색상 또는 기능)을 명시적으로 저장합니다. 이렇게 하면 주어진 3D 위치에 대해 삼선형 보간법(

foreground

)을 통해 해당 속성을 디코딩할 수 있습니다. 전경 영역의 밀도와 색상 임베딩을 모델링하기 위해 두 개의 독립적인 기능 메시를 구축합니다. 특히, 밀도 메쉬 매핑은 체적 렌더링을 위해 위치를 밀도 스칼라 σ로 매핑합니다. 색상이 포함된 메시 매핑의 경우 해시 테이블을 통해 다양한 해상도 백업에서 여러 복셀 메시를 인스턴스화하여 저렴한 메모리 오버헤드로 더 미세한 세부 정보를 얻습니다. 최종 컬러 임베딩 f는 L 해상도 레벨에서 출력을 연결하여 얻습니다.

배경 앞서 언급한 전경 모델링은 물체 수준의 방사선장에 대해 작동하지만 이를 무한한 야외 장면으로 확장하는 것은 쉽지 않습니다. NGP와 같은 일부 관련 기술은 배경 영역이 포함될 수 있도록 장면 경계 상자를 직접 확장하는 반면, GANcraft 및 URF는 이 문제를 해결하기 위해 구형 배경 복사를 도입합니다. 그러나 이전 시도에서는 장면 상자 내의 대부분의 영역이 배경 장면에 사용되었으므로 기능이 낭비되었습니다. 후자 방식의 경우 배경 복사가 뷰 방향에만 의존한다고 단순히 가정하기 때문에 도시 장면(예: 기복이 있는 건물 또는 복잡한 풍경)의 복잡한 파노라마를 처리하지 못할 수 있습니다.

이를 위해 전경 부분의 해상도를 일정하게 유지하기 위해 추가 배경 메시 모델을 설정했습니다. 우리는 세심하게 디자인된 배경으로 [9]의 장면 매개변수화를 채택합니다. 첫째, 역구형 모델링과 달리 복셀 그리드 표현을 사용하므로 ℓ Infini Norm을 사용하는 역입방 모델링을 사용합니다. 둘째, 메모리를 절약하기 위해 배경색을 쿼리하기 위해 추가 MLP를 인스턴스화하지 않습니다. 특히 효율적인 복셀 그리드 표현에서 직접 시작할 때 계산 집약적인 하이브리드 장면 표현을 사용하여

LiDAR 초기화

을 통해 3D 배경 점을 4D로 워프합니다. 이 모델은 다음과 같은 경우 계산과 메모리를 절약할 수 있습니다. MLP는 밀도 값을 쿼리합니다. 그러나 도시 장면의 대규모 특성과 복잡성을 고려할 때 이 경량 표현은 밀도 그리드의 제한된 해상도로 인해 최적화 중에 로컬 최소값에 쉽게 멈출 수 있습니다. 다행스럽게도 자율 주행에서 대부분의 자율 주행 차량(SDV)에는 장면 재구성을 위한 대략적인 기하학적 사전 정보를 제공하는 LiDAR 센서가 장착되어 있습니다. 이를 위해 장면 형상과 방사능의 공동 최적화에 대한 장애물을 완화하기 위해 LiDAR 포인트 클라우드를 사용하여 밀도 메시를 초기화할 것을 제안합니다.

색상 분해

원래 NeRF는 방사선 필드의 색상을 모델링하기 위해 뷰 의존적 MLP를 사용했습니다. 이는 방사선이 확산(뷰 독립적) 색상과 반사(뷰 관련) 색상으로 구성되는 물리적 세계를 단순화한 것입니다. 구성. 더욱이, 최종 출력 색상 c는 보는 방향 d와 완전히 얽혀 있기 때문에 보이지 않는 시야에서 충실도가 높은 이미지를 렌더링하기가 어렵습니다. 그림 3에서 볼 수 있듯이, 색상 분해(CD) 없이 훈련된 방법은 외삽 설정(즉, 훈련 보기를 기준으로 보기 방향을 왼쪽으로 2미터 이동)의 새로운 보기 합성에서 실패하는 반면, 색상 분해된 방법은 케이스는 합리적인 렌더링 결과를 제공합니다.

샘플링된 위치의 최종 색상은 다음 두 요소의 합입니다.

훈련 손실

모델을 최적화하기 위해 재조정된 가중치 wi를 사용하여 광도 손실을 수정합니다. 빠른 수렴을 달성하려면 단단한 샘플에 집중하세요. 중량 계수는 다음과 같이 정의됩니다.

Pictures

Experiment

결론

이 논문에서는 포인트 클라우드와 이미지를 통합하는 효율적인 실외 장면 뷰 합성 프레임워크인 Lightning NeRF를 소개합니다. 제안된 방법은 포인트 클라우드를 활용하여 장면의 희박한 표현을 신속하게 초기화하여 상당한 성능과 속도 향상을 달성합니다. 배경을 보다 효율적으로 모델링함으로써 전경의 표현상의 부담을 줄입니다. 마지막으로 색상 분해를 통해 뷰 관련 색상과 뷰 독립적 색상을 별도로 모델링하여 모델의 외삽 능력을 향상시킵니다. 다양한 자율 주행 데이터 세트에 대한 광범위한 실험을 통해 우리의 접근 방식이 성능 및 효율성 측면에서 이전의 최첨단 기술보다 우수하다는 것을 보여줍니다.

위 내용은 자율주행을 위해 탄생한 Lightning NeRF: 10배 더 빨라짐의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!