효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

순전히 MLP 기반 NeRF(Neural Radiation Field)는 제한된 모델 용량으로 인해 대규모 장면 블러 렌더링에서 과소적합 문제를 겪는 경우가 많습니다. 최근 일부 연구자들은 장면을 지리적으로 분할하고 여러 개의 하위 NeRF를 사용하여 각 영역을 개별적으로 모델링하는 방법을 제안했지만 이로 인해 발생하는 문제는 장면이 점차 확장됨에 따라 훈련 비용이 하위 NeRF의 수에 비례한다는 것입니다. 확장하다.

또 다른 솔루션은 복셀 피쳐 그리드 표현을 사용하는 것입니다. 이는 계산적으로 효율적이고 그리드 해상도가 증가하여 대규모 장면으로 자연스럽게 확장됩니다. 그러나 기능 메시는 제약 조건이 적기 때문에 최적이 아닌 솔루션만 달성하는 경우가 많으며, 특히 복잡한 형상과 텍스처가 있는 영역에서 렌더링 시 일부 노이즈 아티팩트가 발생합니다.

이 기사에서는 홍콩 중문대학교, 상하이 인공 지능 연구소 및 기타 기관의 연구원들이 계산 효율성을 고려하면서 도시(Ubran) 장면의 충실도 높은 렌더링을 달성하기 위한 새로운 프레임워크를 제안한 것으로 선정되었습니다. CVPR 2023을 위해. 이 연구에서는 컴팩트한 다중 해상도 지상 특징 평면 표현을 사용하여 장면을 대략적으로 캡처하고 공동으로 학습된 방식으로 렌더링하기 위해 NeRF 분기 네트워크를 통해 위치 인코딩된 입력으로 이를 보완합니다. 이 접근 방식은 두 접근 방식의 장점을 통합합니다. 기능 그리드 표현의 지침에 따라 가벼운 가중치의 NeRF는 세부 사항이 포함된 현실적인 새로운 관점을 제시하기에 충분합니다. 컴팩트한 기능 공간으로 보다 자연스러운 렌더링 결과를 출력합니다.

• 논문 주소: https://arxiv.org/pdf/2303.14001.pdf
• 프로젝트 홈페이지: https://city-super.github.io/ Gridnerf/

아래 그림은 사람들에게 몰입형 도시 로밍 경험을 제공하는 실제 Ubran 장면에 대한 연구 방법의 예시 결과를 보여줍니다.

방법 소개

암시적 신경을 효과적으로 활용 본 연구에서는 대규모 도시 장면의 재구성을 표현하기 위해 명시적 복셀 그리드 기반 및 암시적 기반 NeRF 방법을 통합하는 통합 장면 표현을 채택하는 이중 분기 모델 아키텍처를 제안합니다. 서로를 보완하십시오.

먼저 사전 훈련 단계에서 특징 메쉬를 사용하여 대상 장면을 모델링하여 장면의 형상과 모양을 대략적으로 포착합니다. 그런 다음 거친 형상 그리드를 사용하여 1) NeRF 포인트 샘플링을 안내하여 장면 표면 주위에 집중되도록 하고 2) 샘플링된 위치의 장면 형상 및 모양에 대한 추가 기능을 NeRF의 위치 인코딩에 제공합니다. 이러한 지침을 통해 NeRF는 크게 압축된 샘플링 공간에서 더 미세한 세부 정보를 효율적으로 수집할 수 있습니다. 또한, 대략적인 수준의 기하학 및 모양 정보가 NeRF에 명시적으로 제공되므로 경량 MLP는 전역 좌표에서 볼륨 밀도 및 색상 값으로의 매핑을 학습하는 데 충분합니다. 두 번째 공동 학습 단계에서는 거친 특징 메시가 NeRF 분기의 그라디언트를 통해 더욱 최적화되고 정규화되므로 단독으로 적용할 때 더 정확하고 자연스러운 렌더링 결과를 얻을 수 있습니다.

이 연구의 핵심은 새로운 이중 분기 구조, 즉 그리드 분기와 NeRF 분기입니다. 1) 연구자들은 먼저 사전 훈련 단계에서 특징 평면의 피라미드 장면을 캡처하고 얕은 MLP 렌더러(그리드 브랜치)를 통해 광선 점을 대략적으로 샘플링하고 픽셀 색상에 대한 볼륨 통합 MSE로 휘도 값을 예측했습니다. 손실 감독. 이 단계에서는 정보가 풍부한 다중 해상도 밀도/외관 특징 평면 세트를 생성합니다. 2) 다음으로 연구자들은 공동학습 단계에 진입하여 보다 정제된 샘플링을 수행한다. 연구원들은 학습된 특징 그리드를 사용하여 NeRF 분기 샘플링을 안내하여 장면 표면에 초점을 맞췄습니다. 샘플링 포인트의 그리드 특성은 형상 평면의 이중선형 보간을 통해 파생됩니다. 그런 다음 이러한 기능은 위치 인코딩과 연결되어 NeRF 분기에 공급되어 체적 밀도와 색상을 예측합니다. 공동 훈련 중에 그리드 분기의 출력은 NeRF 분기의 정밀한 렌더링 결과뿐만 아니라 실제 이미지를 사용하여 계속 감독됩니다.

목표 시나리오: 이 작업에서 연구는 새로운 그리드 유도 신경 방사선장을 사용하여 대규모 도시 장면 렌더링을 수행합니다. 아래 이미지의 왼쪽은 5,000개 이상의 드론 이미지로 캡처한 2.7km^2 면적에 걸친 대규모 도시 장면의 예를 보여줍니다. 연구에 따르면 NeRF 기반 방법은 흐릿하고 지나치게 매끄럽고 모델 용량이 제한된 결과를 렌더링하는 반면, 고유 그리드 기반 방법은 고해상도 고유 그리드가 있는 대규모 장면에 적응할 때 노이즈가 있는 아티팩트를 표시하는 경향이 있는 것으로 나타났습니다. 본 연구에서 제안하는 이중 분기 모델은 두 방법의 장점을 결합하고 기존 방법에 비해 획기적인 개선을 통해 사실적이고 새로운 뷰 렌더링을 달성합니다. 두 가지 모두 해당 기준선에 비해 상당한 향상을 얻었습니다.

Experiment

연구원들은 아래 그림과 표에 기준선의 성능과 연구원의 방법을 보고했습니다. 질적으로나 양적으로나 말이죠. 시각적 품질과 모든 지표 측면에서 상당한 개선이 관찰되었습니다. 연구원들의 접근 방식은 순수한 MLP 기반 방법(NeRF 및 Mega-NeRF)보다 더 선명한 형상과 더 미세한 세부 사항을 보여주었습니다. 특히, NeRF의 제한된 용량과 스펙트럼 편향으로 인해 운동장의 초목 및 줄무늬와 같은 기하학 및 색상의 급격한 변화를 항상 시뮬레이션할 수 없습니다. Mega-NeRF 기준선에 표시된 것처럼 장면을 작은 영역으로 지리적으로 나누는 것이 약간 도움이 되지만 제시된 결과는 여전히 너무 매끄러워 보입니다. 반대로, 학습된 특징 그리드에 따라 NeRF의 샘플링 공간은 장면 표면 근처에서 효과적이고 크게 압축됩니다. 그림 3과 같이 지상 특징 평면에서 샘플링된 밀도 및 모양 특징은 장면 콘텐츠를 명시적으로 나타냅니다. 정확도는 떨어지지만 이미 유익한 로컬 기하학과 텍스처를 제공하고 NeRF의 위치 인코딩을 통해 누락된 장면 세부 정보를 수집하도록 권장합니다.

아래 표 1은 정량적 결과를 보여줍니다.

그림 6 렌더링 충실도의 급격한 향상을 확인할 수 있습니다.

자세히 알아보기 내용은 원문을 참조하시기 바랍니다.

위 내용은 효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!