안면 신경 방사선장 마스크 편집 방법인 NeRFFaceEditing은 3D 모델링 없이도 3차원 얼굴을 편집할 수 있습니다.

직접 매우 사실적인 3차원 얼굴을 디자인하고 싶지만 전문적인 디자인 소프트웨어에 익숙하지 않으신가요? 3D 얼굴 편집 방식 NeRFFaceEditing은 3D 모델링을 모르더라도 메타버스에서 자유롭게 현실감 넘치는 입체 얼굴을 편집하고 개인화된 디지털 인물 사진을 모델링할 수 있는 새로운 솔루션을 제공합니다!

NeRFFaceEditing은 중국과학원 컴퓨팅 기술 연구소와 홍콩 시립대학교의 연구원들이 완성한 최고의 컴퓨터 그래픽 컨퍼런스 ACM SIGGRAPH Asia 2022에서 관련 기술 논문이 발표되었습니다.

프로젝트 홈페이지: http://geometrylearning.com/NeRFFaceEditing/

NeRFFaceEditing은 2차원 의미 마스크를 3차원 기하학 편집을 위한 브리지로 사용하여 사용자가 다음에서 의미 체계 편집을 수행할 수 있도록 합니다. 하나의 관점을 전체 3D 면 형상으로 전파하여 재료를 변경하지 않고 유지할 수 있습니다. 또한 참조 스타일을 나타내는 이미지가 주어지면 사용자는 형상을 변경하지 않은 채 전체 3D 면의 재료 스타일을 쉽게 변경할 수 있습니다.

이러한 방식을 기반으로 한 3D 얼굴 편집 시스템을 기반으로 전문적인 3D 디자인에 익숙하지 않은 사용자도 쉽게 개인화된 얼굴 디자인을 수행하고 얼굴 모양과 외모를 맞춤 설정할 수 있습니다. 먼저 NeRFFaceEditing을 사용한 두 가지 놀라운 효과를 살펴보겠습니다!

그림 1 기하학적 편집 효과: 2차원 시맨틱 마스크의 편집 내용이 3차원 기하학적 공간 전체에 전파됩니다.

그림 2 스타일 전송 효과: 주어진 스타일은 기하학을 그대로 유지하면서 얼굴의 전체 3차원 공간에 작용합니다

Part I Background

최근에는 신경 방사선장[1]과 적대적 생성의 조합으로 네트워크 [2], EG3D [3]를 포함하여 다양한 고품질, 빠른 렌더링 3D 얼굴 생성 네트워크가 제안되었습니다.

그림 3 다양한 관점에서 본 EG3D의 생성 효과 및 기하학적 표현

이 방법의 3면 ​​표현은 전통적인 2차원 생성적 적대 네트워크와 최신 3-평면 표현을 결합합니다. 차원 암시적 표현이므로 StyleGAN [4]의 강력한 생성 능력과 신경 방사선 필드 표현 능력을 계승합니다. 그러나 이러한 생성 모델은 3D 캐릭터 디자인과 같은 응용 분야에 필수적인 기능인 인간 얼굴의 형상과 재질에 대한 분리된 제어를 제공할 수 없습니다.

DeepFace Drawing [5] 및 DeepFaceEditing [6]과 같은 기존 작업은 선 그리기와 2차원 얼굴 이미지 생성 및 편집을 기반으로 기하학과 재료의 분리 제어를 실현할 수 있습니다. DeepFaceVideoEditing[7]은 얼굴 비디오에 선 그리기 편집을 적용하여 시계열에서 풍부한 편집 효과를 생성할 수 있습니다.

그러나 이미지 분리 및 편집 방법은 3차원 공간에 직접 적용하기가 어렵습니다. 그러나 3차원 면에 대한 기존 기하학적 및 재료 분리 방법에는 네트워크 매개변수 재교육이 필요한 경우가 많으며 사용되는 공간 표현 방법은 더 큰 제한이 있으며 3면 표현의 좋은 특성이 부족합니다. 위의 문제를 해결하기 위해 NeRFFaceEditing은 세 개의 평면으로 표현되는 3차원 생성적 적대 신경망의 사전 훈련된 모델 매개변수를 기반으로 하며, 기하학적 편집을 구현하기 위해 모든 관점의 2차원 의미 마스크를 매개체로 사용합니다. 입체적인 면과 소재의 커플링 제어 솔루션.

Part 2 NeRFFaceEditing의 알고리즘 원리

3-평면 생성기가 3-평면을 생성한 후 AdaIN [8]에서 영감을 얻었습니다. 즉, 2차원 특징 맵(Feature Map)에 대한 통계 데이터입니다. NeRFFaceEditing은 스타일을 표현할 수 있는 3개의 평면을 공간적으로 변하지 않는 고급 재료 특징을 표현하는 평균 및 표준 편차(a)와 공간적으로 변화하는 기하학적 특징을 표현하는 정규화된 3개의 평면으로 분해합니다. 표준화된 삼면과 분해된 물질의 특성(a)을 결합하면 원래의 삼면을 복원할 수 있다. 따라서 서로 다른 재료 특성이 주어지면 동일한 형상에도 다른 재료가 주어질 수 있습니다.

한 단계 더 나아가서 기하학과 재료의 분리된 제어를 달성하기 위해 NeRFFaceEditing은 원래 단일 디코더를 기하학 디코더와 재료 디코더로 분해합니다. 기하 디코더는 정규화된 3면 샘플링에서 얻은 특징, 예측 밀도 및 의미 라벨을 입력하고 3D 얼굴의 기하 및 의미 마스크 볼륨(Volume)을 표현하는 데 사용됩니다. CAM(Controllable Material Module) 모듈을 통해 기하학적 특징과 재료 특징(a)을 결합한 후 샘플링된 특징을 Material Decoder에 입력하여 색상을 예측합니다. 마지막으로 볼륨 렌더링을 통해 특정 관점에서 얼굴 이미지와 해당 의미 마스크를 얻습니다. 서로 다른 재질 특징(b)이 주어지면 기하학적 특징과 재질 특징(b)을 사용하여 CAM 모듈과 볼륨 렌더링을 통해 기하학적 특징이 변하지 않고 재질이 변경된 또 다른 얼굴 이미지를 얻을 수 있습니다. 전체적인 네트워크 구조는 아래 그림과 같습니다:

그림 4 NeRFFaceEditing의 네트워크 아키텍처

또한, 동일한 재료 특성을 가진 샘플의 렌더링 결과를 제한하기 위해 그러나 재질의 다른 기하학 위와 유사하게 NeRFFaceEditing은 생성된 의미 마스크를 사용하고 히스토그램 기능을 사용하여 동일한 재질 특징과 다른 기하학을 가진 샘플의 머리카락, 피부 등과 같은 다양한 얼굴 구성 요소의 색상 분포를 나타냅니다. 그런 다음 개별 구성 요소에 대한 이러한 샘플의 색상 분포의 거리 합이 최적화됩니다. 아래 그림과 같이:

그림 5 재료 유사성 제약 훈련 전략

Part 3 효과 표시 및 실험 비교

NeRFFaceEditing을 사용하면 2차원 의미 마스크를 사용할 수 있습니다. 3차원 사람 식별 얼굴 공간에서의 기하학적 편집:

그림 6 3D 얼굴 기하학적 편집

또한 참조 사진을 기반으로 3차원 일관된 3차원에서 재료 스타일 마이그레이션 차원 공간도 수행될 수 있습니다:

그림 7 3D 얼굴 스타일 전송

이를 바탕으로 아래 그림과 같이 분리된 얼굴 보간 변형 응용 프로그램을 구현할 수 있습니다. 시작점과 끝점으로 왼쪽 상단 모서리와 오른쪽 하단 모서리, 카메라, 형상 및 재질의 선형 보간:

그림 8 분리된 얼굴 변형 효과 표시

도움말 사용 PTI [9]에서는 실제 이미지가 NeRFFaceEditing의 잠재 공간으로 역투영되어 실제 이미지의 편집 및 스타일 전송도 가능합니다. 이를 통해 NeRFFaceEditing은 시야각을 제어할 수 있는 다른 오픈소스 얼굴 편집 방법인 SofGAN[10]과도 비교되어 해당 방법의 우수성을 입증했다.

그림 9 실제 이미지의 3D 기하학 편집 예. NeRFFaceEditing의 진정성은 SofGAN보다 우수하며 SofGAN은 다른 관점에서 보면 정체성에 일정한 변화가 있음을 알 수 있습니다.

그림 10 실제 이미지 스타일 전송의 예. SofGAN에는 특정 결함이 있고 정체성에 특정 변화가 있음을 알 수 있습니다.

4부 결론 및 감사의 말씀

디지털 콘텐츠 생성은 산업 생산 및 디지털 미디어 분야에서 널리 사용되고 있으며, 특히 최근 주목받고 있는 가상 디지털 휴먼의 생성 및 편집과 3D 인간 얼굴 형상과 재료의 분리된 편집은 실제 가상 이미지의 개인화된 형태를 위한 가능한 솔루션입니다.

NeRFFaceEditing 시스템은 3D 얼굴 생성 네트워크의 디자인을 분리함으로써 사용자의 의미 마스크 수정을 2차원 관점에서 전체 3차원 공간의 기하학적 수정으로 변환할 수 있습니다. 변하지 않는다. 또한, 스타일 전달 효과를 높이는 훈련 전략의 도움으로 3차원 공간에서 효과적인 물질적 스타일 전달이 달성될 수 있습니다. NeRFFaceEditing의 논문이 최고의 컴퓨터 그래픽 컨퍼런스인 ACM SIGGRAPH ASIA 2022에 채택되었습니다.

이 프로젝트의 연구팀에는 중국과학원 컴퓨팅 기술 연구소 엘리트 학부생인 Jiang Kaiwen(제1저자), 부연구원 Gao Lin(이 기사의 교신저자), Dr. Chen Shuyu, 홍콩 시립대학교 Fu Hongbo 교수. 자세한 내용은 프로젝트 홈페이지를 참조하세요.

​http://geometrylearning.com/NeRFFaceEditing/​

위 내용은 안면 신경 방사선장 마스크 편집 방법인 NeRFFaceEditing은 3D 모델링 없이도 3차원 얼굴을 편집할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!