Zhejiang University는 새로운 SOTA 기술 SIFU를 제안합니다. 고품질 3D 인체 모델을 재구성하는 데 단 하나의 사진만 사용할 수 있습니다.

AR, VR, 3D 프린팅, 장면 구성, 영화 제작 등 여러 분야에서 옷을 입은 인체의 고품질 3D 모델은 매우 중요합니다.

전통적인 방법으로 모델을 제작하려면 많은 시간이 필요하며 전문 장비와 기술자만이 완성할 수 있습니다.

이에 비해 우리는 일상생활에서 주로 휴대폰 카메라나 웹페이지에서 발견한 인물 사진을 사용합니다.

따라서 단일 이미지에서 3D 인간 모델을 정확하게 재구성할 수 있는 방법은 비용을 크게 절감하고 독립적인 생성 프로세스를 단순화할 수 있습니다.

이전 방법(왼쪽)과 이 방법(오른쪽)의 기술적 경로 비교

3D 인체 재구성에 사용된 이전 딥러닝 모델은 종종 세 단계를 필요로 합니다: 이미지에서 2D 특징을 추출하고, 2D 특징은 3D 공간으로 전송되고 3D 특징은 인체 재구성에 사용됩니다.

그러나 이러한 방법은 2차원 특징을 3차원 공간으로 변환하는 단계에서 인체 사전 도입을 무시하는 경우가 많아 특징 추출이 부족하고 최종 재구성 결과에 다양한 결함이 발생합니다.

SIFU와 다른 SOTA 모델의 재구성 효과 비교

또한 텍스처 예측 단계에서 이전 모델은 훈련 세트에서 학습한 지식에만 의존했으며, 텍스처 예측에 대한 사전 지식이 부족했습니다. 현실 세계에서는 보이지 않는 영역의 텍스처 예측이 좋지 않은 경우가 많습니다.

SIFU는 보이지 않는 영역(뒤 등)의 질감 효과를 높이기 위해 질감 예측 단계의 사전 지식을 도입합니다.

이와 관련하여 저장대학교 ReLER 연구소의 연구원들은 측면도 조건부 암시적 함수를 사용하여 단일 이미지에서 3D 인체 모델을 재구성하는 SIFU 모델을 제안했습니다.

Pictures

논문 주소: https://arxiv.org/abs/2312.06704

프로젝트 주소: https://github.com/River-Zhang/SIFU

이 모델은 통과되었습니다. 2차원 형상을 3차원 공간으로 변환하고 인체의 측면도를 선험적 조건으로 도입하여 기하학적 재구성 효과를 높였습니다. 그리고 보이지 않는 영역의 질감이 좋지 않은 문제를 해결하기 위해 질감 최적화 단계에서 사전 훈련된 확산 모델을 도입합니다.

모델 구조

모델 파이프라인은 다음과 같습니다.

Pictures

모델 작업은 두 단계로 나눌 수 있습니다. 첫 번째 단계에서는 측면 암시적 함수를 사용하여 형상을 재구성합니다. mesh)와 Coarse 질감을 기반으로 두 번째 단계에서는 사전 훈련된 확산 모델을 사용하여 질감을 다듬습니다.

첫 번째 단계에서 저자는 독특한 Side-view Decoupling Transformer를 설계했으며, 글로벌 인코더를 통해 2D 특징을 추출한 후 인체 이전 모델인 SMPL-X의 측면 뷰를 디코더에 쿼리로 도입했습니다. 다양한 방향(앞, 뒤, 왼쪽, 오른쪽)의 인체의 3D 특징은 이미지의 2D 특징과 분리되어 최종적으로 재구성에 사용됩니다.

이 방법은 2D 형상을 3D 공간으로 변환할 때 인체에 대한 사전 지식을 성공적으로 결합하여 모델의 재구성 효과가 더 좋습니다.

두 번째 단계에서 저자는 3D 일관된 질감 개선 프로세스를 제안합니다. 먼저 인체의 보이지 않는 영역(측면, 후면)을 연속적인 시야각을 사용하여 일련의 사진으로 구분할 수 있습니다. 대용량 데이터로부터 사전 지식을 학습하는 확산 모델의 도움으로 거친 질감의 이미지를 일관성 있게 편집하여 보다 세련된 결과를 얻을 수 있습니다. 마지막으로, 미세화 전후의 이미지로부터 손실을 계산하여 3D 모델의 텍스처 맵을 최적화합니다.

실험 부분

더 높은 재구성 정확도

실험 부분에서 저자는 CAPE-NFP, CAPE-FP 및 THuman2.0을 포함한 포괄적으로 다양한 테스트 세트를 사용하여 모델을 테스트하고 다음과 비교했습니다. 이전의 단일 이미지 인체 재구성 SOTA 모델은 주요 컨퍼런스에서 발표되었습니다. 정량적 테스트 후 SIFU 모델은 기하학적 재구성과 텍스처 재구성 모두에서 가장 좋은 결과를 보여주었습니다.

기하학적 재구성 정확도를 정량적으로 평가

텍스처 재구성 효과를 정량적으로 평가

인터넷에 공개된 사진을 정성적 효과 시연을 위한 입력으로 사용

강한 견고성

이전 모델이 훈련 세트 이외의 데이터를 적용할 경우, 추정된 인체 사전 모델 SMPL/SMPL-X가 충분히 정확하지 않기 때문에 재구성 결과가 입력 영상과 크게 다른 경우가 많아 실제 적용이 어렵습니다.

이와 관련하여 저자는 포즈를 상쇄하기 위해 실제 모델 매개변수에 섭동을 추가하여 모델의 견고성을 구체적으로 테스트하여 실제 장면에서 부정확한 SMPL-X 추정을 시뮬레이션했습니다. 모델 재구성의 정확성. 결과는 이 경우에도 SIFU 모델이 여전히 최고의 재구성 정확도를 가지고 있음을 보여줍니다.

잘못된 인체 이전 모델을 직면할 때 모델의 견고성을 평가합니다.

실제 사진을 사용하여 SIFU는 이전 인체 모델 추정이 정확하지 않은 경우에도 여전히 작동합니다. 더 나은 재구성 효과

더 폭넓은 응용 시나리오

SIFU 모델의 고정밀, 고품질 재구성 효과로 인해 3D 프린팅, 장면 구축, 텍스처 편집 등 다양한 응용 시나리오에 적합합니다.

3D 프린팅된 SIFU 재구성 인체 모델

3D 장면 구축을 위한 SIFU

공개 행동 시퀀스 데이터의 도움으로 , SIFU 재구성 모델 구동

요약

본 논문에서는 2차원 형상을 3차원 형상으로 변환할 때 이전 작업에서 도입한 사전 지식의 부족함을 보완하는 측면 조건 암시적 함수와 3차원 일관성 텍스처 편집 방법을 제안합니다. 공간 및 질감 예측은 단일 사진에서 인체 재구성의 정확성과 효과를 크게 향상시켜 모델에 실제 적용에 상당한 이점을 제공하고 이 분야의 향후 연구를 위한 새로운 아이디어도 제공합니다.

참조:

https://arxiv.org/abs/2312.06704

위 내용은 Zhejiang University는 새로운 SOTA 기술 SIFU를 제안합니다. 고품질 3D 인체 모델을 재구성하는 데 단 하나의 사진만 사용할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!