정말 부드럽습니다. Zhejiang University, ETH Zurich 및 CityU가 공동 제작한 새로운 3D 헤어 모델링 방법인 NeuralHDHair

최근에는 가상 디지털 휴먼 산업이 폭발적으로 성장하면서 각계각층에서 자신만의 디지털 휴먼 이미지가 출시되고 있습니다. 충실도가 높은 3D 헤어 모델이 가상 디지털 휴먼의 현실감을 크게 향상시킬 수 있다는 점에는 의심의 여지가 없습니다. 인체의 다른 부분과 달리 머리카락 구조는 얽혀 있는 머리카락 구조의 매우 복잡한 특성으로 인해 설명하고 추출하는 것이 더 어렵기 때문에 단일 뷰에서 충실도가 높은 3D 머리카락 모델을 재구성하는 것이 매우 어렵습니다. 일반적으로 기존 방법은 입력 영상에서 추출된 2D 방향 맵을 기반으로 3D 방향 필드를 추정하고, 3D 방향 필드를 기반으로 머리카락을 합성하는 두 단계로 이 문제를 해결합니다. 그러나 이 메커니즘은 실제로는 여전히 몇 가지 문제를 안고 있습니다.

실제 관찰을 바탕으로 연구자들은 높은 수준의 유연성(예: 헤어 모델을 재구성하려면 네트워크의 순방향 전달이 단 한 번만 필요합니다.

이러한 문제를 해결하기 위해 Zhejiang University, 스위스 취리히 ETH 및 홍콩 시립 대학의 연구원들은 충실도가 높은 3D 방향 필드를 생성하기 위해 대략적인 전략을 구현하는 IRHairNet을 제안했습니다. 구체적으로 그들은 대략적인 모듈의 2D 방향 맵에서 정보를 추출하기 위해 새로운 복셀 정렬 암시적 함수(VIFu)를 도입했습니다. 동시에, 연구진은 2D 방향 맵에서 손실된 로컬 디테일을 보충하기 위해 고해상도 밝기 맵을 사용하여 로컬 특징을 추출하고 이를 고충실도 모발을 위한 미세 모듈의 전역 특징과 결합했습니다. 스타일링.

3D 방향장에서 모발 모델을 효과적으로 합성하기 위해 연구원들은 로컬 암시적 그리드 표현을 사용한 딥러닝 기반 모발 성장 방법인 GrowingNet을 도입했습니다. 이는 주요 관찰에 기초합니다. 모발의 기하학적 구조와 성장 방향은 전체적으로 다르지만 특정 지역 규모에서는 유사한 특성을 갖습니다. 따라서 각 로컬 3D 방향 패치에 대해 높은 수준의 잠재 코드를 추출할 수 있으며, 이 잠재 코드를 기반으로 신경 암시적 기능(디코더)이 훈련되어 머리카락이 자라게 됩니다. 각 성장 단계 후에 모발 끝 부분에 위치한 새로운 국소 패치를 사용하여 계속해서 성장합니다. 훈련 후에는 모든 해상도에서 3D 지향 필드에 적용할 수 있습니다.

Paper: https://arxiv.org/pdf/2205.04175.pdf

IRHairNet과 GrowingNet은 NeuralHDHair의 핵심을 형성합니다. 구체적으로 이 연구의 주요 기여는 다음과 같습니다.

• 기존 SOTA 방법보다 성능이 훨씬 뛰어난 새로운 완전 자동 단안 모발 모델링 프레임워크 소개
• 거친 모발 모델링 프레임워크 소개 모발 모델링 신경망( IRHairNet)은 새로운 복셀 정렬 암시적 함수와 밝기 매핑을 사용하여 고품질 헤어 모델링의 로컬 디테일을 풍부하게 합니다.
• 로컬 암시적 함수를 기반으로 한 새로운 모발 성장 네트워크(GrowingNet)를 제안합니다. 이 네트워크는 이전 방법보다 특정 크기만큼 빠릅니다.

Method

그림 2는 NeuralHDHair의 파이프라인을 보여줍니다. 인물 이미지의 경우 2D 방향 맵이 먼저 계산되고 밝기 맵이 추출됩니다. 또한 흉상 깊이 맵을 얻기 위해 동일한 흉상 참조 모델에 자동으로 정렬됩니다. 그런 다음 이 세 가지 그래프는 IRHairNet으로 피드백됩니다.

• IRHairNet은 단일 이미지에서 고해상도 3D 머리카락 형상 특징을 생성하도록 설계되었습니다. 이 네트워크의 입력에는 입력 인물 이미지에서 얻은 2D 방향 맵, 밝기 맵 및 피팅된 절반 길이 깊이 맵이 포함됩니다. 출력은 각 복셀에 로컬 성장 방향이 포함된 3D 방향 필드와 각 복셀이 머리카락이 통과했는지(1) 또는 통과하지 않았는지(0)를 나타내는 3D 점유 필드입니다.
• GrowingNet은 IRHairNet에서 추정한 3D 방향 필드와 3D 점유 필드에서 완전한 모발 모델을 효율적으로 생성하도록 설계되었으며, 여기서 3D 점유 필드는 모발 성장 영역을 제한하는 데 사용됩니다.

자세한 방법은 원문을 참고해주세요.

Experiments

이 부분에서 연구원들은 절제 연구(섹션 4.1)를 통해 각 알고리즘 구성 요소의 효과와 필요성을 평가한 다음 우리의 방법을 현재 SOTA(섹션 4.2)와 비교합니다. 구현 세부 사항과 더 많은 실험 결과는 보충 자료에서 확인할 수 있습니다.

절제 실험

연구원들은 GrowingNet의 충실도와 효율성을 정성적, 정량적 관점에서 평가했습니다. 먼저, 합성 데이터에 대해 세 가지 실험 세트가 수행됩니다: 1) 전통적인 모발 성장 알고리즘, 2) 잠재적인 패치 방식이 중복되지 않는 GrowingNet, 3) 본 논문의 전체 모델.

그림 4와 표 1에서 볼 수 있듯이, 이 기사의 GrowingNet은 전통적인 모발 성장 알고리즘과 비교하여 시각적 품질 측면에서 동일한 성장 성능을 유지하면서 시간 소비 측면에서 분명한 이점을 가지고 있습니다. 또한, 도 4의 세 번째와 네 번째 열을 비교하면, 중첩되는 포텐셜 패치 방식이 없으면 패치 경계부에서 머리카락 가닥이 불연속적으로 나타날 수 있으며, 이는 머리카락의 성장 방향이 바뀔 때 문제가 된다는 것을 알 수 있다. 가닥이 더욱 심각하게 변합니다. 그러나 이 솔루션은 정확도를 약간 낮추는 대신 효율성을 크게 향상시킨다는 점은 주목할 가치가 있습니다. 효율성을 높이는 것은 인체 디지털화에 편리하고 효율적으로 적용하는 데 큰 의미가 있습니다.

SOTA 방법과의 비교

NeuralHDHair의 성능을 평가하기 위해 연구자들은 이를 일부 SOTA 방법과 비교했습니다[6, 28, 30, 36, 40]. 그 중 Autohair는 모발 합성을 위한 데이터 기반 접근 방식을 기반으로 하는 반면, HairNet[40]은 모발 성장 과정을 무시하여 엔드투엔드 모발 모델링을 달성합니다. 대조적으로, [28,36]은 먼저 3D 방향 필드를 추정한 다음 그로부터 머리카락을 합성하여 2단계 전략을 구현합니다. PIFuHD[30]는 3D 모발 모델링에 사용할 수 있는 거친-미세 전략을 기반으로 하는 단안 고해상도 3D 모델링 방법입니다.

그림 6에서 볼 수 있듯이 HairNet의 결과는 만족스럽지 못한 것으로 보이지만 부분적인 디테일과 전체적인 모양까지도 입력 이미지의 머리카락과 일치하지 않습니다. 그 이유는 이 방법이 단순하고 투박한 방법으로 머리카락을 합성해, 단일 이미지에서 무질서한 머리카락 가닥을 직접 복구하기 때문이다.

재구성 결과도 Autohair[6] 및 Saito[28]와 비교됩니다. 그림 7에서 볼 수 있듯이 Autohair는 사실적인 결과를 합성할 수 있지만 데이터베이스에 제한된 헤어스타일이 포함되어 있기 때문에 입력 이미지와 구조적으로 잘 일치하지 않습니다. 반면 Saito의 결과는 부분적인 세부 정보가 부족하고 입력 이미지와 모양이 일치하지 않습니다. 대조적으로, 이 방법의 결과는 모발 모양의 일관성을 보장하면서 모발의 전체적인 구조와 국소적인 세부 사항을 더 잘 유지합니다.

PIFuHD [30] 및 Dynamic Hair [36]은 사실적인 헤어 모델을 생성하기 위해 충실도가 높은 3D 헤어 기하학적 특징을 추정하는 데 전념하고 있습니다. 그림 8은 두 가지 대표적인 비교 결과를 보여줍니다. PIFuHD에 사용된 픽셀 수준의 암시적 함수는 복잡한 머리카락을 완전히 묘사할 수 없기 때문에 결과가 너무 매끄럽고 로컬 디테일이 없으며 합리적인 전역 구조조차 갖지 않는다는 것을 알 수 있습니다. Dynamic Hair는 더 적은 디테일로 보다 합리적인 결과를 생성할 수 있으며 결과의 모발 성장 추세는 입력 이미지와 잘 일치할 수 있지만 특히 복잡한 헤어스타일의 경우 많은 로컬 구조적 세부 사항(예: 계층 구조)을 캡처할 수 없습니다. 대조적으로, 우리의 방법은 다양한 헤어스타일, 심지어 극도로 복잡한 구조에도 적용할 수 있으며 글로벌 기능과 로컬 디테일을 최대한 활용하여 더 많은 디테일이 포함된 고해상도, 고해상도 3D 헤어 모델을 생성할 수 있습니다.

​ ​

위 내용은 정말 부드럽습니다. Zhejiang University, ETH Zurich 및 CityU가 공동 제작한 새로운 3D 헤어 모델링 방법인 NeuralHDHair의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!