다윗이 부활했어요! NVIDIA는 'Neurolangelo'를 재현하고 육안으로 볼 수 있는 근육 질감을 3D로 재구성합니다.

오늘 NVIDIA는 16세기 미켈란젤로의 '뉴랄란젤로'를 재현했습니다.

보세요, Neuralangelo는 유명한 다비드 조각상의 3D 버전을 실제와 같은 대리석 디테일과 질감으로 "재현"했습니다.

피렌체 미술아카데미에서 수집한 다비드상은 높이가 3.96m, 받침대까지 포함하면 5.5m에 불과하다는 사실을 아셔야 합니다.

기와, 유리창 등 다양한 디테일을 하나씩 재현하여 건물의 내부 및 외부 구조까지 재구성할 수 있습니다.

이 모든 것이 "Neuralangelo"의 마법입니다.

NVIDIA와 Johns Hopkins University의 연구원이 제안한 새로운 AI 모델은 신경망을 사용하여 3D 개체를 재구성합니다.

최신 연구가 CVPR 2023에 채택되었습니다.

논문 주소: https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf

특히 뉴랄란젤로는 휴대폰, 드론 등에서 동영상을 캡처할 수 있습니다. -충실한 대규모 장면".

도시나 우주 공간의 영상을 쉽게 몰입형 세계로 바꾸고 게임에 넣어 경험할 수 있는 것이 바로 미래가 아닐까요?

네티즌들은 NVIDIA가 "매트릭스" 세계를 해킹했다고 감탄했습니다!

어떤 사람들은 애플의 XR 기술과 뉴랄란젤로가 결합하면 “새로운 세계”를 만들 수 있다고 말하기도 합니다.

효과 시연

Nvidia 본사

초라한 트럭

이그나티우스 동상

3D 장면 재구성

이전 AI 모델은 3D 장면을 재구성할 때 반복적인 질감 패턴, 균일한 색상, 강한 색상 변화를 정확하게 캡처하는 데 종종 어려움을 겪었습니다.

이를 위해 팀은 다중 해상도 3D 해시 그리드의 표현 기능과 신경 표면 렌더링을 결합한 새로운 방법인 Neuralangelo를 제안했습니다.

작년에 NVIDIA 연구원들은 사진을 3D 개체로 쉽게 변환할 수 있는 새로운 도구인 3D MoMa를 만들었습니다.

NeuralAngelo는 이 개념을 바탕으로 더 크고 더 상세한 공간과 개체를 가져올 수 있습니다. 반복되는 질감 패턴, 균일한 색상, 강한 색상 변화를 정확하게 포착할 수 있다는 점이 특별합니다.

NVIDIA Instant NeRF 기술의 핵심인 "실시간 신경그래픽 프리미티브"를 사용하여 Neuralangelo는 더 미세한 세부 사항을 캡처할 수 있습니다.

팀의 접근 방식은 2가지 핵심 요소에 의존합니다:

(1) 평활화 작업으로 고차 도함수를 계산하기 위한 수치적 기울기

(2) 다양한 세부 수준을 제어하기 위한 해시 넷 그리드 최적화 거친 것부터 미세한 것까지.

Neuralangelo는 보조 깊이가 없어도 이전 방법을 훨씬 능가하는 충실도로 다중 뷰 이미지에서 조밀한 3D 표면 구조를 효과적으로 복구하여 RGB 비디오 캡처에서 상세한 대규모 장면 재구성을 가능하게 합니다.

NeuralAngelo 구축

NeuralAngelo 모델은 다중 해상도 해시 인코딩 및 SDF 기반 볼륨 렌더링을 기반으로 구축되었습니다.

1단계: 수치 그라디언트를 사용하여 고차 도함수 계산

해시 그리드의 공간 해상도와 일치하는 단계의 수치 그라디언트를 사용하여 로컬 셀 너머를 최적화할 수 있습니다. 분석적 기울기와 비교하여 수치적 기울기는 SDF에서 평활화 작업을 수행합니다.

2단계: 점진적으로 세부 수준을 개선합니다.

수치 그라데이션의 단계 크기를 점진적으로 줄이고 더 높은 해상도의 해시 그리드를 활성화하여 최적화된 효과를 얻을 수 있습니다. 매끄러운 표면과 미세한 기하학적 세부 사항의 넓은 영역을 더 잘 복구합니다. 이러한 학습 과정을 통해 점차 세부 수준이 향상될 수 있습니다.

3단계: 최적화

NeuralAngelo는 세 가지 최적화 목표를 사용합니다.

RGB 합성 손실

: 입력 이미지 및 RGB 재구성 합성 이미지 간의 손실.

Eikonal loss

: 표면 법선이 단위 규칙이 되도록 기본 SDF를 정규화합니다.

곡률 손실

: 평균 곡률이 임의로 커지지 않도록 기본 SDF를 정규화합니다.

"뉴로란젤로"가 만들어졌는데 어떻게 작동하나요?

뉴랄란젤로가 미켈란젤로의 다비드 묘사 전체 과정을 복원했다고 할 수 있습니다.

· 먼저, 모델은 2D 비디오에서 다양한 각도에서 촬영된 개체/장면의 여러 프레임을 선택합니다. 이미지의 깊이, 크기 및 모양을 "볼" 수 있습니다. 이 과정은 조각가가 처음에 여러 각도에서 구성을 구성하는 방법과 유사합니다.

· 아티스트가 피사체의 모양을 깎기 시작하는 것처럼 모델은 장면의 대략적인 3D 표현을 만듭니다.

· 마지막으로 예술가가 천의 질감이나 사람의 형태를 세심하게 장식하는 것처럼 모델을 다듬어 세부적인 선명도를 높입니다.

DPU 벤치마크의 질적 비교에서 Neuralangelo는 더 정확하고 충실도가 높은 표면을 생성합니다.

다음은 DTU 데이터세트에서 Neuralangelo의 정량적 결과입니다. 이 모델은 우수한 재구성 정확도와 이미지 합성 품질을 달성했습니다.

다양한 대략적 최적화 방식의 정성적 비교에서 분석적 경사 AG 및 AG+P를 사용할 때 물체의 거친 표면에 아티팩트가 있습니다.

디지털 그라디언트(NG)를 사용하면 더 나은 거친 표면을 재구성하고 세부 사항을 매끄럽게 만들 수 있습니다.

그리고 NVIDIA의 솔루션(NG+P)은 매끄러운 표면과 미세한 디테일을 생성할 수 있습니다.

최종 결과는 가상 현실 애플리케이션, 디지털 트윈 또는 로봇 공학 개발에 사용할 수 있는 3D 개체 또는 대규모 장면입니다.

NVIDIA는 기와의 거칠기, 대리석의 매끄러움 등 복잡한 재료의 질감을 2D 비디오에서 3D 개체로 변환하는 Neuralangelo의 능력이 이전 방법을 훨씬 능가한다고 밝혔습니다.

NVIDIA Research의 선임 이사이자 논문의 저자인 Ming-Yu Liu는 이 연구의 중요성에 대해 다음과 같이 말했습니다.

"Neuralangelo가 제공하는 3D 재구성 기능은 창작자에게 큰 이점을 가져올 것입니다. 이 도구를 사용하면 마침내 개발자가 작은 조각상이든 큰 건물이든 세부적인 개체를 비디오 게임이나 산업용 디지털 트윈의 가상 환경으로 가져올 수 있습니다.

창의력 전문가 사람들은 이러한 3D 개체를 디자인 응용 프로그램으로 가져와 예술, 비디오 게임 개발, 로봇 공학 및 산업용 디지털 트윈과 같은 분야에서 사용하기 위해 추가로 편집할 수 있습니다.

저자 소개

Zhaoshuo Li(

Li Zhaoshuo는 현재 Johns Hopkins University에서 컴퓨터 과학 박사 과정을 밟고 있습니다. 그의 지도교수는 Mathias Unberath 교수와 Russell H Taylor

입니다.

컴퓨터 비전, 컴퓨터 그래픽, 딥 러닝에 관심이 많습니다. 그의 연구는 이미지에서 동작과 구조를 재현하는 데 중점을 두고 있습니다.

그는 또한 비디오 작가, 정신 건강 증진, 애완견 애호가, 서퍼, 스카이다이버, 스노보더 등 많은 취미를 가지고 있습니다...

Chen-Hsuan Lin

Chen-Hsuan Lin은 NVIDIA Research의 연구 과학자로 컴퓨터 비전, 컴퓨터 그래픽, 인공 지능 분야에서 일하고 있습니다.

그는 Carnegie Mellon University에서 로봇 공학 박사 학위를 취득하고 NVIDIA 대학원 장학금을 받았습니다. 이전에는 Facebook AI Research와 Adobe Research에서도 인턴으로 일했습니다.

Lin은 3D 재구성, 뷰 합성 및 3D 콘텐츠 제작의 문제 해결에 관심이 많습니다. 이 연구의 목표는 인터넷 규모의 시각적 데이터를 학습하여 인공 지능 시스템에 인간 수준의 3D 인식 및 상상력을 제공하고 진정한 3D 공간 지능을 향해 나아가는 것입니다.

네티즌들의 뜨거운 댓글

NVIDIA 과학자 Jim Fan은

3D 모델링에서 인공 지능의 개발 속도에 대한 아이디어를 제공하기 위해 필드가 왼쪽(원본 NeRF 재구성 메시)에서 왼쪽으로 이동했습니다. 3년 안에 말이죠(Nvidia의 Neuralangelo).

현실을 충실도 높은 시뮬레이션으로 구현하는 것은 더 이상 꿈이 아닙니다.

새로운 Neuralangelo 모델은 괴물이며 NVIDIA는 사진 측량 소프트웨어인 R.I.P.를 죽이기로 결정했습니다.

디지털 세계의 '미켈란젤로' 같아요.

일부 네티즌들도 알고 싶어했는데, 비용은 얼마인가요?

공장에서 드론을 사용한 다음 비디오를 이 모델로 보내고 디지털 트윈을 만들어 프로세스를 최적화하는 데 사용할 수 있습니다.

이 기술의 중요성에 대해 네티즌들은 이 기술이 게임 산업에 미치는 영향이 엄청날 것이라고 믿고 있습니다.

위 내용은 다윗이 부활했어요! NVIDIA는 'Neurolangelo'를 재현하고 육안으로 볼 수 있는 근육 질감을 3D로 재구성합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!