신은 복잡한 물체와 고주파 세부 정보를 복원합니다. 4K-NeRF 고화질 뷰 합성이 여기에 있습니다.

초고해상도는 고품질 이미지와 비디오를 녹화하고 표시하기 위한 표준으로 많은 연구자들이 환영합니다. 낮은 해상도(1K HD 형식)에 비해 일반적으로 고해상도로 캡처한 장면은 픽셀 정보가 매우 명확합니다. 작은 패치로 증폭됩니다. 하지만 이 기술을 영상처리와 컴퓨터 비전에 적용하는 데는 여전히 많은 과제가 남아있습니다.

이 기사에서는 Alibaba의 연구원들이 새로운 뷰 합성 작업에 중점을 두고 4K-NeRF라는 프레임워크를 제안합니다. NeRF 기반 볼륨 렌더링 방법은 4K 초고해상도에서 높은 충실도를 달성할 수 있습니다. 주소 : https://arxiv.org/abs/2212.04701 홈페이지 : https://github.com/frozoul/4k-nerf

없이 더 자세한 내용은 먼저 효과를 살펴보겠습니다(다음 동영상은 다운샘플링되었습니다. 원본 4K 동영상은 원본 프로젝트를 참조하세요).

Methods

다음으로 연구가 어떻게 진행되었는지 살펴보겠습니다.

4K-NeRF 파이프라인(아래 참조): 패치 기반 광선 샘플링 기술을 사용하여 VC-Encoder(View-Consistency)(DEVO 기반)를 공동 훈련하여 저해상도 공간에서 3차원 기하학적 정보를 인코딩합니다. 그런 다음 VC-Decoder를 통해 고주파수, 고품질 및 고품질 렌더링과 뷰 일관성 향상이 달성됩니다.

이 연구는 DVGO [32]에 정의된 공식을 기반으로 인코더를 인스턴스화하고 복셀 그리드 기반 표현을 학습하여 형상을 명시적으로 인코딩합니다.

각 샘플링 포인트에 대해, 밀도 추정의 삼선형 보간에는 점의 부피 밀도 값을 생성하는 소프트플러스 활성화 함수가 장착되어 있습니다.

색상은 작은 MLP를 사용하여 추정됩니다.

여기서 방식으로 각 광선(또는 픽셀)의 특성 값은 설정된 선 r을 따라 샘플링 점의 특성을 누적하여 얻을 수 있습니다.

VC-인코더 속성에 포함된 기하학을 더 잘 활용하려면, 이 연구는 또한 샘플링된 광선 축을 따라 각 광선 r의 깊이를 추정하여 깊이 맵을 생성했습니다. 추정된 깊이 맵은 위 인코더에 의해 생성된 장면의 3차원 구조에 대한 강력한 가이드를 제공합니다.

그 이후에 전달된 네트워크는 여러 개의 컨볼루션 블록을 쌓아서 얻어집니다(비모수적 정규화를 사용하지도 않고, 다운샘플링 작업) 및 인터리브된 업샘플링 작업을 사용하여 생성됩니다. 특히, 본 연구에서는 단순히 특징 F와 깊이 맵 M을 연결하는 대신 깊이 맵의 깊이 신호를 결합하고 이를 학습된 변환을 통해 각 블록에 주입하여 블록 활성화를 변조합니다.

기존 NeRF 방법의 픽셀 수준 메커니즘과 달리 본 연구에서 연구하는 방법은 광선(픽셀) 사이의 공간 정보를 캡처하는 것을 목표로 합니다. 따라서 NeRF의 무작위 광선 샘플링 전략은 여기에 적합하지 않습니다. 따라서 본 연구에서는 광선 특징 간의 공간적 의존성을 포착하기 위한 패치 기반 광선 샘플링 훈련 전략을 제안합니다. 훈련 중에 훈련 뷰의 이미지는 먼저 픽셀의 샘플링 확률이 균일하도록 보장하기 위해 N_p×N_p 크기의 패치 p로 나뉩니다. 이미지 공간 차원을 패치 크기로 정확하게 나눌 수 없는 경우 트레이닝 패치 세트를 얻기 위해 패치를 가장자리까지 잘라야 합니다. 그런 다음 하나 이상의 패치가 세트에서 무작위로 선택되고 패치의 픽셀 광선이 각 반복에 대한 미니 배치를 형성합니다.

세부 디테일의 시각적 효과가 흐려지거나 지나치게 스무딩되는 문제를 해결하기 위해 이 연구에서는 적대적 손실과 지각 손실을 추가하여 세밀한 디테일 합성을 정규화합니다. 지각 손실 은 미리 훈련된 19계층 VGG 네트워크를 통해 특징 공간에서 예측된 패치 와 실제 진실 p 사이의 유사성을 추정합니다. 손실 고주파수 세부 사항의 재구성을 감독하기 위한 MSE 대신

또한 연구에서는 보조 MSE 손실도 추가했으며 최종 총 손실 함수는 다음과 같은 형식을 갖습니다.

실험 효과

정성적 분석

실험에서는 4K-NeRF를 다른 모델과 비교했는데, 일반 NeRF를 기반으로 한 방법은 디테일 손실과 블러링 정도가 다양하다는 것을 알 수 있습니다. 이와 대조적으로 4K-NeRF는 훈련 시야가 제한된 장면에서도 이러한 복잡하고 고주파수 세부 사항에 대한 고품질의 사실적인 렌더링을 제공합니다.

정량 분석

이 연구는 Plenoxels, DVGO, JaxNeRF, MipNeRF-360 및 NeRF-SR을 포함하여 4k 데이터를 기반으로 하는 여러 가지 현재 방법과 비교되었습니다. 실험에서는 이미지 복구의 평가 지표를 비교로 사용할 뿐만 아니라 종합적인 평가 참조를 위한 추론 시간과 캐시 메모리도 제공합니다. 결과는 다음과 같습니다.

일부 지표에서는 일부 방법의 결과와 크게 다르지 않지만 복셀 기반 방법 덕분에 추론 효율성과 메모리 비용 모두에서 놀라운 성능을 달성했습니다. , 300ms 안에 4K 이미지를 렌더링할 수 있습니다.

요약 및 향후 전망

이 연구에서는 미세한 디테일 모델링에서 NeRF의 기능을 탐구하고, 극도로 높은 해상도의 장면에서 뷰 일관성이 있는 미세한 디테일을 복구하는 표현력을 향상시키는 새로운 프레임워크를 제안합니다. 또한, 이 연구에서는 기하학적 일관성을 유지하고, 하부 공간에서 기하학적 속성을 효과적으로 모델링하고, 기하학적 인식 기능 간의 로컬 상관 관계를 활용하여 전체 공간에서 뷰를 달성하는 한 쌍의 인코더-디코더 모듈도 도입합니다. 향상된 일관성 및 패치- 기반 샘플링 훈련 프레임워크를 사용하면 퍼셉트론 중심 정규화의 감독을 통합하는 방법도 가능합니다. 본 연구는 프레임워크의 효과를 동적 장면 모델링뿐만 아니라 신경 렌더링 작업에 향후 방향으로 통합하기를 희망합니다.

위 내용은 신은 복잡한 물체와 고주파 세부 정보를 복원합니다. 4K-NeRF 고화질 뷰 합성이 여기에 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!