Google의 놀라운 "야간 투시경" 카메라가 갑자기 인기를 얻었습니다! 완벽한 노이즈 감소 및 3D 원근 합성

최근 구글에서 AI 야경 촬영 영상이 입소문을 타고 있어요!

영상에 나오는 기술은 RawNeRF라고 하는데, 이름에서 알 수 있듯이 NeRF의 새로운 변종입니다.

NeRF는 2D 이미지 정보를 훈련 데이터로 사용하여 3D 장면을 복원하는 완전히 연결된 신경망입니다.

RawNeRF는 이전 NeRF에 비해 많은 개선이 이루어졌습니다. 노이즈를 완벽하게 줄일 뿐만 아니라 카메라 시점을 변경하고 초점, 노출, 톤 매핑을 조정합니다. Google에서 작성한 이 논문은 2021년 11월에 출판되었으며 CVPR 2022에 포함되었습니다.

프로젝트 주소: https://bmild.github.io/rawnerf/

RawNeRF in the dark night

이전 NeRF는 Enter로 톤 매핑을 사용하는 LDR 이미지였습니다. .

대신 Google의 RawNeRF는 선형 원시 이미지를 직접 학습하여 장면의 전체 동적 범위를 보존할 수 있습니다.

합성 뷰 분야에서는 어두운 사진을 다루는 것이 항상 문제였습니다.

이 경우에는 이미지에 최소한의 디테일이 포함되어 있기 때문입니다. 그리고 이러한 이미지는 새로운 뷰를 함께 연결하는 것을 어렵게 만듭니다.

다행히 원시 센서 데이터를 사용하는 새로운 솔루션이 있습니다.

이런 사진이라 더 자세한 내용이 있습니다.

그러나 여전히 문제가 있습니다. 소음이 너무 많습니다.

그래서 우리는 선택을 해야 합니다. 디테일이 적고 소음이 적거나, 디테일이 많고 소음이 더 많습니다.

좋은 소식은 이미지 노이즈 감소 기술을 사용할 수 있다는 것입니다.

노이즈 감소 후의 이미지 효과가 좋은 것을 볼 수 있지만 합성보기의 경우 이 품질은 여전히 ​​충분하지 않습니다.

그러나 이미지 노이즈 제거 기술은 우리에게 아이디어를 제공합니다. 단일 이미지를 제거할 수 있으므로 이미지 그룹의 노이즈도 제거할 수 있습니다.

RawNeRF의 효과를 살펴보겠습니다.

그리고 더 놀라운 기능도 있습니다. 기본 데이터를 톤 매핑하여 어두운 이미지에서 더 많은 세부 정보를 추출합니다.

예를 들어 이미지의 초점을 변경하여 심도 효과를 크게 만들 수 있습니다.

더 놀라운 점은 이것이 여전히 실시간이라는 것입니다.

또한 초점이 바뀌면 그에 따라 이미지의 노출도 바뀌게 됩니다!

다음으로 RawNeRF의 5가지 전형적인 애플리케이션 시나리오를 살펴보겠습니다.

다섯 가지 클래식 장면

1. 이미지 선명도

이 이미지를 보면 거리 표지판의 정보가 보이시나요?

RawNeRF 처리 후 도로 표지판의 정보가 훨씬 더 명확해진 것을 확인할 수 있습니다.

아래 애니메이션에서 원래 NeRF 기술과 RawNeRF의 이미지 합성 차이를 명확하게 볼 수 있습니다.

사실 소위 NeRF는 그리 오래된 기술은 아니고 불과 2년 전의 기술입니다...

RawNeRF가 여전히 하이라이트 처리에서 매우 좋은 성능을 발휘하는 것을 볼 수 있습니다. , 오른쪽 하단에 있는 번호판 주변의 하이라이트 변경도 볼 수 있습니다.

2. 반사 하이라이트

반사 하이라이트는 카메라를 움직일 때 많이 변하고 사진 사이의 상대적인 거리도 상대적으로 멀기 때문에 캡처하기가 매우 어려운 물체입니다. 이러한 요소는 알고리즘 학습에 큰 어려움을 줍니다.
아래 사진에서 볼 수 있듯이 RawNeRF에서 생성된 반사광 하이라이트가 상당히 복원되었다고 할 수 있습니다.

3. 얇은 구조

조명이 밝은 상황에서도 이전 기술은 울타리를 잘 표현하지 못했습니다.

그리고 RawNeRF는 여러 개의 울타리가 있는 야간 사진을 처리할 수 있으며 자체적으로 보관할 수 있습니다.

펜스가 번호판과 겹쳐지는 곳에서도 효과는 매우 좋습니다.

4. 정반사

도로에서의 반사는 더욱 까다로운 정반사 하이라이트입니다. 보시다시피 RawNeRF는 이를 매우 자연스럽고 현실적으로 처리합니다.

5. 초점 변경, 노출 조정

이 장면에서는 시점을 변경하고 초점을 계속 변경하면서 동시에 노출을 조정해 보겠습니다.

과거에는 이러한 작업을 완료하려면 25~200장의 사진 모음이 필요했습니다.

이제 촬영을 완료하는 데 몇 초밖에 걸리지 않습니다.

물론 현재 RawNeRF는 완벽하지 않습니다. 왼쪽의 RawNeRF 이미지와 오른쪽의 실제 사진에는 여전히 약간의 차이가 있음을 알 수 있습니다.

그러나 RAWnerf는 노이즈가 가득한 원본 이미지 세트에서 현재 효과까지 상당한 발전을 이루었습니다. 아시다시피, 2년 전의 기술로는 이것을 전혀 할 수 없었습니다.

RAW의 이점

간단히 검토하자면 NeRF 교육 파이프라인은 카메라에서 처리된 LDR 이미지를 수신하고 후속 장면 재구성 및 뷰 렌더링은 LDR 색 공간을 기반으로 합니다. 따라서 NeRF의 출력은 실제로 후처리된 것이므로 크게 수정하고 편집하는 것은 불가능합니다.

반면, RawNeRF는 선형 원시 HDR 입력 데이터에 대해 직접 교육됩니다. 결과 렌더링은 원본 사진처럼 편집하여 초점과 노출 등을 변경할 수 있습니다.

이로 인해 얻을 수 있는 주요 이점은 HDR 뷰 합성과 노이즈 감소 처리라는 두 가지 점입니다.

밝기 변화가 심한 장면에서는 고정된 셔터 속도만으로는 전체 다이내믹 레인지를 포착하기에 충분하지 않습니다. RawNeRF 모델은 짧은 노출과 긴 노출을 모두 최적화하여 전체 동적 범위를 복원할 수 있습니다.

예를 들어 (b)의 조명 비율이 큰 장면에서는 어두운 부분의 디테일과 실외 하이라이트를 동시에 보존하기 위해 더 복잡한 로컬 톤 매핑 알고리즘(예: HDR + 후처리)이 필요합니다.

또한 RawNeRF는 선형 색상을 사용하여 올바르게 포화된 "흐릿한" 하이라이트로 합성 디포커스 효과를 렌더링할 수 있습니다.

이미지 노이즈 처리 측면에서 저자는 완전히 처리되지 않은 HDR 선형 원본 이미지에 대해 RawNeRF를 추가로 교육하여 수십 또는 수백 개의 "노이즈 감소기"를 처리할 수 있는 알고리즘으로 전환했습니다.

이러한 견고함은 RawNeRF가 어둠 속에서 장면을 재구성하는 작업을 훌륭하게 완료할 수 있음을 의미합니다.

예를 들어 (a) 단 하나의 촛불로 조명된 이 밤 장면에서 RawNeRF는 그렇지 않으면 후처리(b, c)에 의해 파괴될 시끄러운 원시 데이터에서 세부 정보를 추출할 수 있습니다.

저자 소개

논문의 첫 번째 저자인 Ben Mildenhall은 Google Research의 연구 과학자로 컴퓨터 비전 및 그래픽 문제에 종사하고 있습니다.

그는 2015년에 스탠포드 대학교에서 컴퓨터 과학 및 수학 학사 학위를 취득했고, 2020년에 캘리포니아 대학교 버클리에서 컴퓨터 과학 박사 학위를 받았습니다.

방금 끝난 CVPR 2022는 벤의 하이라이트 순간이라고 할 수 있습니다.

합격된 7개의 논문 중 5개가 Oral에서 우승했고, 1개가 최우수 학생 논문으로 Honorable Mention을 받았습니다.

네티즌 댓글

영상이 나오자마자 모든 네티즌들을 깜짝 놀라게 했습니다. 모두 함께 즐거운 시간을 보내세요.

기술의 발전 속도를 보면 이제 밤에 사진 찍을 걱정이 없어지는 날도 머지않았습니다~

위 내용은 Google의 놀라운 "야간 투시경" 카메라가 갑자기 인기를 얻었습니다! 완벽한 노이즈 감소 및 3D 원근 합성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!