Meta와 CMU가 협력하여 대규모 VR 업그레이드를 시작합니다! 최신 HyperReel 모델은 충실도가 높은 6자유도 비디오 렌더링을 구현합니다.

최근 Meta와 Carnegie Mellon 대학이 제안한 6-DoF 영상 표현 모델인 HyperReel은 새로운 VR "킬러" 애플리케이션이 곧 탄생할 것임을 시사할 수도 있습니다!

소위 "6자유도 비디오"(6-DoF)는 단순히 초고화질 4D 체험형 재생입니다.

그 중 사용자는 역동적인 장면에 완전히 '몰입'하고 자유롭게 이동할 수 있습니다. 그리고 머리 위치(3 DoF)와 방향(3 DoF)을 임의로 변경하면 그에 따라 해당 뷰도 생성됩니다.

논문 주소: https://arxiv.org/abs/2301.02238

HyperReel의 가장 큰 장점은 전작에 비해 메모리와 컴퓨팅 효율성에 있는데, 이 두 가지 점이 매우 중요합니다. 휴대용 VR 헤드셋이 중요합니다.

그리고 바닐라 PyTorch를 사용하면 HyperReel은 단일 NVIDIA RTX 3090에서 초당 18프레임의 메가픽셀 해상도 렌더링을 달성할 수 있습니다.

​

보기에 너무 긴 버전:

1 고해상도, 높은 프레임 속도 렌더링을 달성할 수 있는 조명 조건 샘플링 예측 네트워크를 제안합니다.

2. 6-DoF 비디오 표현 방법 HyperReel은 위의 두 핵심 부분을 결합하여 메가픽셀 해상도를 실시간으로 렌더링하면서 속도와 품질을 달성합니다. 메모리 요구 사항과 메모리 간의 이상적인 균형 ;

3. HyperReel은 메모리 요구 사항 및 렌더링 속도와 같은 여러 측면에서 다른 방법보다 우수합니다. ​

논문 소개

체적 장면 표현은 정적 장면에 대한 사실적인 뷰 합성을 제공하고 기존 6-DoF 비디오 기술의 기초를 형성합니다.

그러나 이러한 표현을 구동하는 볼륨 렌더링 프로그램에는 품질, 렌더링 속도 및 메모리 효율성 측면에서 신중한 절충이 필요합니다.

기존 방법에는 단점이 있습니다. 이는 까다로운 실제 시나리오에서 매우 중요한 실시간 성능, 작은 메모리 공간 및 고품질 렌더링을 동시에 달성할 수 없다는 것입니다.

이러한 문제를 해결하기 위해 연구원들은 NeRF 기술(Neural Radiation Field)을 기반으로 한 6-DoF 비디오 특성화 방법인 HyperReel을 제안했습니다.

그 중 HyperReel의 두 가지 핵심 부분은 다음과 같습니다.

1. 고해상도에서 높은 충실도, 높은 프레임 속도 렌더링이 가능한 샘플링 예측 네트워크

2 . 컴팩트하고 메모리 효율적인 동적 볼륨 표현.

다른 방법에 비해 HyperReel의 6-DoF 비디오 파이프라인은 시각적 품질 측면에서 매우 뛰어난 성능을 발휘할 뿐만 아니라 메모리 요구 사항도 매우 적습니다.

동시에 HyperReel은 사용자 정의 CUDA 코드 없이 메가픽셀 해상도에서 초당 18프레임의 렌더링 속도를 달성할 수 있습니다.

구체적으로 HypeReel은 샘플 예측 네트워크와 키프레임 기반 볼륨 표현 방법을 결합하여 높은 렌더링 품질, 속도 및 메모리 효율성 간의 균형을 달성합니다.

샘플 예측 네트워크는 특히 뷰 종속성이 까다로운 장면의 경우 볼륨 렌더링을 가속화하고 렌더링 품질을 향상시킬 수 있습니다.

키프레임 기반 볼륨 표현 측면에서 연구자들은 TensoRF의 확장을 사용합니다.

이 방법은 단일 정적 프레임 TensoRF와 거의 동일한 메모리를 소비하면서 완전한 비디오 시퀀스를 정확하게 표현할 수 있습니다.

실시간 시연

다음으로 HypeReel을 통해 512x512 픽셀의 해상도에서 동적 및 정적 장면의 렌더링 효과를 실시간으로 시연해 보겠습니다.

연구원들이 Technicolor 및 Shiny 장면에서 더 작은 모델을 사용했기 때문에 렌더링의 프레임 속도가 40FPS보다 컸다는 점은 주목할 가치가 있습니다. 나머지 데이터 세트에는 전체 모델이 사용되지만 HypeReel은 여전히 ​​실시간 추론을 제공할 수 있습니다.

Technicolor

Shiny

Stanford

몰입감

DoNeRF

구현 방법

for HeperReel을 구현하기 위해 고려해야 할 첫 번째 문제는 정적 뷰 합성의 볼륨 표현을 최적화하는 것입니다.

NeRF와 같은 볼륨 표현은 3D 공간에서 정적 장면의 각 지점의 밀도와 모양을 모델링하는 것입니다.

더 구체적으로, 위치 x와 방향 은 ⼀ 광선을 따라 색상 및 밀도 σ(x)에 함수 를 통해 매핑됩니다.

여기서 훈련 가능한 매개변수 θ는 신경망 가중치, N차원 배열 항목 또는 둘의 조합일 수 있습니다. ​

그런 다음 정적 장면의 새로운 보기를 렌더링할 수 있습니다

여기서 는 o에서 까지의 투과율을 나타냅니다. ​

실제로 방정식 1은 주어진 광선을 따라 여러 샘플 포인트를 취한 다음 수치적 구적법을 사용하여 계산할 수 있습니다.

여기서 가중치 는 각 샘플 포인트의 색상이 출력에 미치는 영향을 지정합니다. ​

볼륨 렌더링을 위한 메시 예

정적 장면을 위한 HyperReel에서 일련의 이미지와 카메라 포즈가 주어지면 훈련 목표는 각 광선과 연관된 측정된 색상을 재구성하는 것입니다.

대부분의 장면은 3D 장면 볼륨 내의 2D 다양체 표면에 있는 고체 개체로 구성됩니다. 이 경우 소수의 샘플 포인트만 각 광선의 렌더링된 색상에 영향을 미칩니다.

그래서 연구원들은 볼륨 렌더링 속도를 높이기 위해 0이 아닌 포인트에 대해서만 색상과 불투명도를 쿼리하려고 합니다.

아래 그림에 표시된 것처럼 연구자들은 피드포워드 네트워크를 사용하여 일련의 샘플 위치를 예측합니다. 구체적으로, 샘플 예측 네트워크 가 사용되어 광선 을 샘플 포인트 에 매핑하여 볼륨 방정식 2의 렌더링을 얻습니다.

여기서 연구원들은 Plucker의 매개변수화를 사용하여 빛의 특성을 파악합니다. ​​

하지만 문제가 있습니다. 네트워크에 너무 많은 유연성을 부여하면 뷰 합성 품질에 부정적인 영향을 미칠 수 있습니다. 예를 들어 (x1, . . . , xn)이 완전히 임의의 점인 경우 렌더링이 여러 뷰에서 일관되게 보이지 않을 수 있습니다.

이 문제를 해결하기 위해 연구원들은 샘플 예측 네트워크를 사용하여 기하학적 프리미티브 G1, ..., Gn 세트의 매개변수를 예측하기로 선택했습니다. 여기서 프리미티브의 매개변수는 다양한 입력에 따라 변경될 수 있습니다. 광선. 샘플 포인트를 얻기 위해 광선은 각 프리미티브와 교차됩니다.

그림 a에서 볼 수 있듯이, 카메라 원점 o에서 시작하여 방향 Ω을 따라 전파되는 입력 빛이 주어지면 연구원들은 먼저 Plucker 좌표를 사용하여 빛을 다시 매개변수화했습니다.

그림 b에 표시된 것처럼 네트워크 는 이 광선을 입력으로 사용하여 일련의 기하학적 기본 요소 {}(예: 축 정렬 평면 및 구)와 변위 벡터를 출력합니다. { } 매개변수. ​​

그림 c와 같이 볼륨 렌더링을 위한 샘플 포인트 {}를 생성하기 위해 연구원들은 광선과 기하학적 프리미티브 사이의 교차점을 계산하고 결과에 변위 벡터를 추가했습니다. 기하학적 프리미티브를 예측할 때의 장점은 샘플링된 신호가 부드럽고 보간하기 쉽다는 것입니다.

변위 벡터는 샘플 포인트에 추가적인 유연성을 제공하여 복잡한 시선 종속 모양을 더 잘 캡처할 수 있습니다. ​

그림 d와 같이 최종적으로 연구진은 Formula 2를 통해 볼륨 렌더링을 수행하여 픽셀 색상을 생성하고 해당 관찰 결과를 기반으로 지도 학습을 수행했습니다.

키 프레임 기반의 동적 볼륨

위의 방법을 통해 3D 장면 볼륨을 효과적으로 샘플링할 수 있습니다.

볼륨을 특성화하는 방법은 무엇입니까? 정적 경우에는 TensoRF(메모리 효율적인 텐서 방사장) 방법을 사용했고, 동적 경우에는 TensoRF를 키프레임 기반 동적 볼륨 표현으로 확장했습니다.

다음 그림은 키프레임 기반 표현에서 동적 샘플 포인트 표현을 추출하는 과정을 설명합니다.

그림 1에서 볼 수 있듯이, 먼저 연구원들은 속도 {}를 사용하여 샘플의 네트워크 출력을 예측하고 샘플 지점 {}을 시간 으로 변환했습니다. 에서 가장 최근 키프레임에 .

그런 다음, 연구원들은 그림 2와 같이 시공간 텍스처의 외부 곱을 쿼리하여 각 샘플 지점의 외관 특징을 생성한 다음 수학식 10을 통해 색상으로 변환했습니다.

이 과정을 통해 연구진은 각 샘플의 불투명도를 추출했습니다. ​

결과 비교

정적 장면 비교

여기서 연구진은 HyperReel을 기존의 정적 뷰 합성 방법(NeRF, InstantNGP 및 3가지 샘플링 네트워크 기반 방법 포함)과 비교했습니다.

• DoNeRF 데이터세트​

DoNeRF 데이터세트에는 이미지 해상도가 800×800픽셀인 6개의 합성 시퀀스가 ​​포함되어 있습니다.

표 1에서 볼 수 있듯이 HyperReel의 방법은 질적으로 모든 기준을 능가하며 다른 샘플링 네트워크 방식의 성능을 크게 향상시킵니다.

한편, HyperReel은 바닐라 PyTorch로 구현되며 단일 RTX 3090 GPU에서 6.5FPS(또는 Tiny 모델의 경우 29FPS)로 800×800 픽셀 이미지를 렌더링할 수 있습니다.

또한 R2L의 88층, 256개 은닉 유닛 심층 MLP에 비해 연구원이 제안한 6층, 256개 은닉 유닛 네트워크와 TensoRF 볼륨 백본은 추론 속도가 더 빠릅니다

LLFF 데이터 세트에는 1008×756 픽셀 이미지가 포함된 8개의 실제 시퀀스가 ​​포함되어 있습니다.

표 1에서 볼 수 있듯이 HyperReel의 방법은 DoNeRF, AdaNeRF, TermiNeRF 및 InstantNGP보다 우수하지만 달성된 품질은 NeRF보다 약간 나쁩니다.
• 이 데이터 세트는 잘못된 카메라 보정과 입력 뷰의 희소성으로 인해 명시적인 볼륨 표현에 큰 어려움을 겪습니다.

동적 장면 비교

Technicolor Dataset​

Technicolor Light Field Dataset에는 시간 동기화된 4×4 카메라 설정으로 캡처한 다양한 실내 환경의 이미지가 포함되어 있습니다. 각 비디오 스트림의 각 사진은 2048×1088 픽셀입니다.

연구원들은 이 데이터세트의 5개 시퀀스(생일, Fabien, 화가, 극장, 기차)에 대해 전체 이미지 해상도에서 HyperReel과 Neural 3D 비디오를 비교했습니다. 각 시퀀스의 길이는 50프레임입니다.
• 표 2에서 볼 수 있듯이 HyperReel의 품질은 Neural 3D Video를 능가하는 반면 시퀀스당 훈련 시간은 1.5시간(Neural 3D의 1000시간 이상)에 불과하고 렌더링 속도도 더 빠릅니다.

신경망 3D 비디오 데이터세트

​

신경망 3D 비디오 데이터세트에는 2704×2028픽셀의 해상도로 20대의 카메라로 촬영한 6개의 실내 다중 뷰 비디오 시퀀스가 ​​포함되어 있습니다.

표 2에 표시된 것처럼 HyperReel은 NeRFPlayer 및 StreamRF와 같은 최근 작업을 포함하여 이 데이터 세트의 모든 기본 방법보다 성능이 뛰어납니다.
• 특히 HyperReel은 양적으로는 NeRFPlayer를 능가하고 렌더링 속도는 약 40배입니다. 하지만 Plenoxels를 백본 방식(추론 속도를 높이기 위해 맞춤형 CUDA 커널 사용)으로 채택하여 렌더링 속도가 더 빨라지긴 하지만요.

또한 HyperReel은 StreamRF 및 NeRFPlayer보다 평균적으로 프레임당 훨씬 적은 메모리를 소비합니다.

Google Immersive Dataset

​

Google Immersive Dataset에는 다양한 실내 및 실외 환경의 조명 필드 동영상이 포함되어 있습니다.

표 2에서 볼 수 있듯이 HyperReel은 NeRFPlayer보다 품질이 1dB 우수하고 렌더링 속도도 더 빠릅니다.

다소 불행하게도 HyperReel은 아직 VR에 필요한 렌더링 속도(이상적으로는 72FPS, 스테레오)에 도달하지 못했습니다.

그러나 이 방법은 바닐라 PyTorch에서 구현되기 때문에 맞춤형 CUDA 커널과 같은 작업을 통해 성능을 더욱 최적화할 수 있습니다.

저자 소개

논문의 첫 번째 저자인 Benjamin Attal은 현재 Carnegie Mellon Robotics Institute에서 박사 과정을 밟고 있습니다. 연구 관심 분야에는 가상 현실, 컴퓨터 이미징 및 디스플레이가 포함됩니다.

위 내용은 Meta와 CMU가 협력하여 대규모 VR 업그레이드를 시작합니다! 최신 HyperReel 모델은 충실도가 높은 6자유도 비디오 렌더링을 구현합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!