초보자의 필수품인 NeRF 연구 노트는 모든 것에 대한 통찰력을 제공합니다!

신경 방사선장은 정확히 무엇인가요?

방사선장: 장면의 광원에서 방출되는 빛이 전파 및 반사되는 동안 형성된 에너지 분포입니다. 쉽게 말하면 공간의 특정 위치에서 특정 방향의 방사선 정보를 기록하는 기능입니다. 방사선 정보(또는 에너지 분포)는 실제로 색상, 밝기, 그림자 및 기타 정보입니다. 여기서 방향은 특별한 주의가 필요하며, 이는 NeRF가 실제 재건을 달성하는 중요한 요소 중 하나입니다!

이것은 신경 방사선 분야의 개념으로 이어집니다.
신경 방사선장: 신경망을 사용하여 모든 방향의 공간위치방사선을 저장합니다. 원문의 설명은 다음과 같습니다.

좀 더 표준화된 공식은 다음과 같이 표현됩니다.

3D 위치(x, y, z)와 2D 보기 방향()을 입력하고 출력은 다음과 같습니다. 색상 및 볼륨 밀도

NeRF 특정 네트워크 결과는 다음과 같이 원본 텍스트를 참조합니다.

• 8개의 완전히 연결된 레이어, 레이어당 256개의 뉴런, ReLU 활성화를 포함하여 첫 번째 네트워크 fσ에 대한 3D 좌표 x 입력;
네트워크 fσ는 RGB를 예측하기 위해 보기 방향 d를 사용하여 fc(1개 레이어, 128개 채널, ReLU 활성화)로 전송되는 볼륨 밀도 σ 및 256차원 벡터를 출력합니다. 위에서 보면 NeRF는 모델이 MLP Inside에 저장되기 때문에 암시적으로 모델링되는데, 모델은 MLP의 매개변수로 이전의 포인트 클라우드 및 메쉬 모델링과 다릅니다(포인트 클라우드/메시는 모델을 직접 볼 수 있음). NeRF는 3차원 점을 하나씩 쿼리한 다음 이를 이미지로 렌더링해야 합니다. 이
• 보기 방법
또는

렌더링 방법

을 볼륨 렌더링이라고 합니다.

볼륨 렌더링을 보기 전에. 먼저 네트워크의 효과를 살펴보겠습니다.

보는 각도에 따라 색상이 달라지는 것을 볼 수 있습니다! 이것이 기존 재구성에 비해 NeRF가 갖는 매우 중요한 장점 중 하나입니다~

NeRF의 핵심: 볼륨 렌더링

NeRF의 두 번째 핵심인 볼륨 렌더링에 대해 살펴보겠습니다. 볼륨 렌더링은 색상과 밀도를 2D 이미지로 렌더링하는 데 사용되는 방법입니다!

개략도는 다음과 같습니다. 그림 a는 카메라의 광학 중심 위치에서 방출되는 광선을 보여줍니다. 광선에는 샘플링 지점과 방향이 색상과 색상을 얻기 위해 MLP로 전송됩니다. 부피 밀도. 그림 c는 샘플링을 통해 얻은 광선에 따른 볼륨 밀도 분포 곡선을 보여줍니다. 이 곡선을 적분하면 픽셀의 색상을 얻을 수 있습니다. 이 과정이 볼륨 렌더링입니다

볼륨 렌더링 단계를 요약하면:

카메라 광학 중심에서 각 픽셀을 관통하는 광선을 방출하고 광선에서 3차원 샘플링 지점을 가져옵니다.

샘플링 지점을 보냅니다. 좌표와 시야각 방향을 MLP로 계산하여 색상과 볼륨 밀도를 계산합니다.

색상 정보를 볼륨 밀도별로 통합(스택)하여 2D 이미지를 형성합니다.

• 볼륨 렌더링 공식은 다음과 같습니다.

Of 물론 이산 버전의 공식이 실제로 사용됩니다.

암시적 재구성 프로세스

신경 방사선 필드와 볼륨 렌더링에 대해 이야기한 후 이제 완전한 재구성 프로세스를 시작합니다~

완성된 파이프라인을 형성하기 전에, 아직 해결해야 할 두 가지 문제가 있습니다:

위의 두 가지 문제를 해결하기 위해 NeRF는 위치 인코딩과 계층화 샘플링 프로세스를 제안했습니다.

위치 인코딩:

논문에서는 효과의 비교를 직관적으로 보여줍니다. 위치 인코딩:

위치 코딩 없이는 모델이 고주파 기하학적 정보와 질감 정보를 표현할 수 없음을 알 수 있습니다~

다층 채택:

학습 과정은 다음과 같습니다.

실험 및 요약

평가 지표:

실험 설정:

실험 결과를 보면 다양한 재질의 볼에도 난시가 잘 표현되는 것을 알 수 있어요~

절제 실험 :

요약

본 글에서 제안하는 신경 방사선장은 카메라 광학 중심에서 픽셀을 통과하는 샘플링 광선을 방출하고 광선 위의 한 지점을 선택한 후 MLP를 사용하여 3차원 위치를 매핑합니다. 보는 방향을 볼륨 밀도와 색상으로 설정한 다음, 볼륨 렌더링 스택이 광선의 볼륨 밀도와 색상을 샘플링하여 픽셀 값을 얻습니다. 픽셀 값과 GT 이미지 간의 오류를 계산한 다음 역전파하여 MLP 매개변수를 최적화합니다. 본 논문에서는 사실적인 모델 재구성 및 렌더링을 달성하기 위해 이러한 암시적 재구성 방법을 사용합니다.

결함:

• 느린 렌더링 및 훈련 속도,
• 뷰 수 및 분포에 대한 높은 요구 사항,
• 배경이나 더 큰 장면으로 확장하기 어려움.

원본 링크: https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g

위 내용은 초보자의 필수품인 NeRF 연구 노트는 모든 것에 대한 통찰력을 제공합니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!