​디지털 휴먼 모델링 및 애니메이션 핵심 기술

소개: 이 글에서는 얼굴 모델링, 헤어 편집, 가상 의상 등 디지털 휴먼 모델링 및 애니메이션의 핵심 기술과 관련된 연구 작업을 그래픽 관점에서 소개합니다. 주로 다음과 같은 부분을 포함합니다. :

• 얼굴 인물 사진 편집 및 의상 디자인.
• 속눈썹 컷아웃을 위한 데이터 세트 및 기준 방법.
• 딥러닝을 기반으로 한 헐렁한 옷의 실시간 애니메이션.

1. 얼굴 인물 편집 및 의상 디자인

1. 디지털 얼굴 영상 인물의 굵고 얇은 조정

ACM Multimedia2021에서 영상 인물의 굵고 얇은 조정에 관한 구두 보고서 발표 , 주로 영상 속 얼굴의 뚱뚱함과 얇음을 조정하여 시각적으로 명확하지 않은 자연스러운 효과를 얻습니다.

2. 이중 턱 제거

이중 턱 제거 논문은 Siggraph 2021에 게재된 논문입니다. 이중 턱을 제거하는 것은 질감과 기하학이 모두 관련되기 때문에 얼굴 편집에서 어렵습니다. 보이면 첫 번째 행이 원본 이미지이고, 매개변수(두 번째 행)를 조정하면 이중턱이 점차 사라지게 됩니다.

3. 인물 제모

인물 제모는 주어진 사진 속 인물의 털을 제거하는 것입니다. 캐릭터의 머리카락 세트를 변경하는 등 머리카락을 편집할 수 있습니다. 원본 머리카락을 유지하면 합성 결과에 방해가 됩니다. 디지털 피플의 입체적 재구성에서는 원래의 머리카락이 그대로 남아 있으면 질감이 방해됩니다. 우리의 방법은 모발 질감 간섭 없이 3D 재구성 결과를 얻을 수 있습니다.

4. 가상의상

사람의 몸에 가상의상을 합성해 주는 사진을 제공하는 메타버스의 새로운 패션으로, 원하는 대로 새 옷을 입을 수 있습니다.

지속 가능한 발전의 맥락에서 패션 산업에는 많은 문제가 있습니다. 가상 의류는 훌륭한 솔루션을 제공합니다.

예를 들어 왼쪽은 실제 옷이고 오른쪽은 가상 옷입니다. 가상의 옷과 실제의 옷이 매우 유사하다는 것을 알 수 있다.

2022 바이두 월드 컨퍼런스 디지털 휴먼 시지아의 의상 모델과 애니메이션은 당사에서 제공합니다.

2. 속눈썹 추출을 위한 데이터세트 및 기준 방법

1. 연구 배경

위 사진은 영화 속 디지털 인물이자 가상 성형 수술을 하는 작품입니다.

우리가 연구하고 싶은 것은 고정밀 3차원 얼굴 재구성 방법을 구축하는 방법입니다. 한 가지 방법은 사용자 사진을 수집하고 MVS를 사용하여 3차원 모델을 재구성하는 것이지만 이 방법은 속눈썹 처리에 미치는 영향이 좋지 않습니다. 속눈썹에는 기하학적 정보가 있기 때문에 재구성에 간섭을 일으키고 눈 영역을 부정확하게 만듭니다.

2. 관련 연구: 고정밀 얼굴 재구성

얼굴 기하학 및 모발 재구성, 눈꺼풀 및 안구 재구성 등 관련 연구 작품은 많지만, 아직은 없다. 속눈썹을 정확하게 편집할 수 있는 가능한 방법입니다.

3. 이미지 컷아웃 알고리즘 및 컷아웃 데이터 세트

① 3점 이미지 기반 컷아웃 방식​

속눈썹을 편집하려면 컷아웃을 사용하여 속눈썹을 잘라낼 수 있으며, 컷아웃은 실제로 위의 내용은 아래 그림과 같이 잘못된 방정식을 풀기 위한 것입니다. 이는 세 번째 부분 다이어그램을 기반으로 한 자연스러운 컷아웃의 예이므로 좋은 결과를 얻을 수 있습니다. 그러나 이 방법은 3부분 그래프를 입력해야 한다는 단점이 있고, 3부분 그래프를 구성하는 것이 매우 어렵다.

② 이미지 매팅 데이터 세트

아래 CVPR2009 데이터 세트와 같이 최근 몇 년간 이미지 매팅 데이터 세트에 대한 많은 작업이 있었습니다.

3 블루 스크린 컷아웃

블루 스크린 컷아웃은 영화 특수 효과에서 많이 사용되며 일반적으로 그린 ​​스크린이나 블루 스크린이 사용되며, 전경 마스크의 값은 몇 가지 삼각 측량 방법을 통해 계산됩니다. .

4. 속눈썹 컷아웃을 위한 데이터세트 및 기준 방법

① 데이터 세트 기준 방법 소개

우리가 해결하고자 하는 것은 속눈썹 컷아웃입니다. 왼쪽 입력은 속눈썹이 포함된 사진이고, 마스크 값은 Matting Network EyelashNet을 통해 계산됩니다.

② 연구동기

속눈썹 부위에 기하학적인 질감이 있어 3차원 재구성의 매개변수화 과정에서 결과에 큰 방해가 되며 효과가 매우 나쁠 것입니다. 아티스트에게 의존하여 수리하는 것은 매우 시간이 많이 소요되는 작업이므로 자동으로 속눈썹을 뽑아주는 방법이 필요합니다.

3메인챌린지

속눈썹을 수동으로 제거하는 경우 시간이 많이 걸리고 힘듭니다. Gabor 필터링 방법을 사용해도 효과는 여전히 좋지 않습니다. 이미지 매트 방법도 사용할 수 있지만 데이터 세트 구성이 매우 어렵습니다. 블루 스크린 컷아웃을 사용하면 눈꺼풀에 속눈썹이 자라서 눈꺼풀과 눈꺼풀 등의 배경 이미지를 분리하여 교체할 수 없게 됩니다. 또한, 속눈썹을 수집할 때 가만히 있기가 어렵습니다. 엄격하게 정렬된 여러 개의 속눈썹을 수집하고 다양한 색상의 속눈썹을 적용하는 것은 매우 어렵습니다.

4속눈썹 데이터 수집

속눈썹에 형광제를 바르고 UVA 플래시를 켜면 형광 효과를 확인하고 속눈썹의 분할 결과를 얻을 수 있습니다. 그러나 이것만으로는 충분하지 않으며 추가 처리가 필요합니다.

⑤ 속눈썹 마스크 계산

이전 단계에서 얻은 데이터 세트를 입력으로 사용하고 매팅 네트워크를 사용하여 실제 매팅 결과를 예측합니다. 하지만 원본 데이터 세트만 사용하면 효과가 그다지 좋지 않으며 근거 진실도 없습니다. 우리는 가상 합성 방법인 Render EyelashNet을 예열하도록 설계한 다음 실험 결과를 사용하여 추정 결과를 예측했으며 수작업과 결합하여 이러한 잘못된 결과를 필터링하고 최종적으로 초기 마스크가 있는 데이터 세트를 얻었습니다. 그런 다음 이 데이터 세트를 사용하여 훈련하고 정제된 결과를 얻을 수 있습니다. 정제된 결과는 데이터 세트에 입력된 다음 반복 후 최종적으로 더 나은 데이터 세트를 얻습니다.

5. 속눈썹 데이터 수집 시스템

① 수집 장비

16대의 카메라, 365nm UV 플래시, 필 라이트 시스템 등을 포함한 수집 시스템을 구축했습니다. 스크린샷을 참조하세요.

② 속눈썹 컬러링 및 눈 위치

절강대학교의 많은 학생들을 초대하여 속눈썹 컬러링 차트에 형광제를 바르고, 레이저를 사용하여 위치를 지정해야 합니다. 눈.부.

UV 플래시를 켜고 끈 결과 비교:

3 보정 정렬

이상적으로는 두 입력 제어 이미지 사이에 오프셋이 없지만, 사람 눈꺼풀은 쉽게 움직이며 편차가 있습니다. 우리는 FlowNet2를 사용하여 광학 흐름장을 얻고 광학 흐름장 결과를 사용하여 형광 속눈썹을 상쇄한 다음 엄격하게 정렬된 그림을 얻어 분할 결과를 얻습니다.

6. 추론 단계

① GCA 네트워크

추론 단계에서는 2020년 AAAI에서 발표된 GCA 네트워크를 주로 사용합니다.

GCA 네트워크의 입력은 RGB 이미지와 3부분 이미지이고 출력은 속눈썹 마스크입니다. 이전 분할 결과는 초기 3부분 이미지 결과로 사용할 수 있습니다. 이로써 속눈썹 3부 이미지의 문제를 인위적으로 구축한 어려운 문제를 해결해 드립니다.

② Mask Inference Network

여기서 3차원 이미지는 속눈썹 마스크 이미지와 원본 RGB 이미지를 입력으로 대체하고 Progressive training을 통해 RenderEyelashNet training preheating과 결합 네트워크를 사용하여 마스크 결과를 얻은 다음 이 결과를 트레이닝 세트로 입력에 추가하고 수동 스크리닝을 통해 시각적으로 올바른 속눈썹 컷아웃 데이터 세트를 얻어 가상 데이터와 실제 데이터가 모두 존재합니다. 훈련과 추론을 위해 이 데이터 세트를 사용하고 마지막으로 속눈썹 마스크의 예측 버전을 얻습니다. 그런 다음 이를 훈련 세트에 넣고 다시 반복하면 일반적으로 두 번 안에 원하는 결과를 얻을 수 있습니다.

3 수동 선택

아무리 첨단 하드웨어 및 소프트웨어 장비라도 속눈썹 수집의 정확성을 보장할 수는 없습니다. 우리는 훈련 데이터의 정확성을 보장하기 위해 일부 잘못된 결과를 제거하기 위해 수동 선택을 사용합니다.

4 기준 네트워크

기준 네트워크를 훈련한 후 테스트용 이미지를 입력하면 더 나은 결과를 얻을 수 있습니다. 알려지지 않은 이미지의 경우 3차원 이미지가 무엇인지 알 수 없습니다. 회색조 이미지를 직접 입력하면 여전히 좋은 속눈썹 예측 결과를 얻을 수 있습니다.

7. 데이터 세트

1 트레이닝 데이터 세트

12가지 눈 표정과 15가지 뷰에 대한 속눈썹 데이터를 캡처합니다.

② 테스트 데이터 세트

우리 방법을 검증하기 위해 테스트 중에 우리가 직접 수집한 데이터와 인터넷의 일부 이미지 데이터를 모두 사용했습니다.

두 번의 점진적인 반복 후에 우리가 얻은 결과는 이미 매우 좋고 실제 가치에 가깝습니다.

3 방법 비교

시각적으로나 정량적으로나 현재 가장 좋은 방법과 비교해보니 이전 방법보다 훨씬 낫습니다. ㅋㅋㅋ

⑤ 결과 표시

확인을 위해 인터넷에 있는 일부 사진을 사용했는데 이 사진에는 Ground Truth가 없습니다. 하지만 이러한 사진의 경우 우리의 방법을 사용하면 여전히 더 나은 속눈썹 컷아웃 결과를 계산할 수 있습니다.

⑥ 애플리케이션

Tencent NEXT Studio와 협력하여 고정밀 3차원 얼굴 재구성에 이 방법을 사용했으며, 속눈썹 부분이 매우 사실적으로 구현되었습니다.

또 다른 응용 프로그램은 속눈썹 미용 편집입니다. 속눈썹이 생기면 색상을 바꾸거나 길게 만들 수 있습니다. 그러나 이 방법을 사람들이 안경을 착용하는 장소에서 사용하고 빛의 세기가 확연히 드러나면 결과는 편향될 것입니다.

8. 요약

우리는 5400개의 고품질 캡처 속눈썹 컷아웃 데이터와 5272개의 가상 속눈썹 컷아웃 데이터를 포함하는 최초의 고품질 속눈썹 컷아웃 데이터세트인 EyelashNet을 제안했습니다.

고화질의 속눈썹 이미지와 마스크를 촬영할 수 있도록 특별히 고안된 형광 마킹 시스템을 제안합니다.

우리의 방법은 속눈썹 컷아웃에서 최첨단 성능을 달성합니다.

3. 딥러닝을 기반으로 한 헐렁한 옷의 실시간 애니메이션

이 작업은 헐렁한 옷을 시뮬레이션하는 것입니다. 메릴랜드 대학교 및 Tencent NEXT Studio와 협력했으며 관련 논문이 Siggraph2022에 게재되었습니다. 본 연구에서는 대규모 움직임을 잘 처리하고 가변 시뮬레이션 매개변수를 지원하는 딥러닝 기반의 헐렁한 옷에 대한 실시간 예측 방법을 제안합니다.

1. Virtual Skeleton

이 작업의 핵심 기술 중 하나는 가상 뼈대입니다. 이는 강체 변형과 선형 하이브리드 시뮬레이션 방법을 사용하여 의복 변형을 제어하는 ​​시뮬레이션 뼈 세트입니다. 가상 뼈대를 사용하면 헐렁한 옷의 복잡한 변형을 효율적으로 시뮬레이션할 수 있으며 이러한 뼈대를 옷의 세부 사항 생성을 안내하는 입력으로 사용할 수 있습니다.

2. 작업 배경

옷을 움직이는 방법에는 일반적으로 두 가지 유형이 있는데, 하나는 계산적으로 비용이 많이 들고, 다른 하나는 데이터 기반입니다. 실제 데이터를 통해 학습하는 방식으로 비교적 빠르고 성능도 좋습니다.

최근에는 머신러닝과 딥러닝 방법이 점점 더 많아지고 있는데, 이 방법들은 정적 조건에서 옷의 변형을 예측하거나, 몸에 딱 맞는 옷의 동적 변형을 예측하는 방법 중 하나입니다. 그러나 실제로 스커트와 같은 많은 옷은 헐렁한 옷의 변형을 예측할 수 있지만 큰 움직임의 변형을 예측하는 데는 그리 좋지 않습니다. 게다가 현재 메소드 중 어느 것도 가변 매개변수를 지원하지 않습니다.

3. 연구 기여

우리 연구는 주로 두 가지 기여를 했습니다. 첫 번째는 딥러닝 방법을 사용하여 헐렁한 옷의 변형을 두 부분으로 분해하는 것입니다. ——저주파 부분과 고주파 부분. 가상 뼈를 사용하여 저주파 부분의 변형을 표현하고 이를 사용하여 고주파 부분을 추론합니다. 두 번째 기여는 물리적 시뮬레이션 매개변수와 결합된 신체 움직임을 입력으로 사용하고 이 방법을 사용하여 두 개의 입력.

4. 요약 설명

1 가상 뼈대 생성 방법

먼저 시뮬레이션 방법을 사용하여 Ground Truth 훈련 세트를 얻고, 이 훈련 세트에 대해 라플라시안 스무딩을 수행합니다. 저주파 메시를 얻은 다음 스킨 분해 처리를 수행하여 가상 뼈대와 가중치를 얻습니다.

② 모션 네트워크

신체 모션 시퀀스를 통해 가상 골격의 모션 시퀀스를 획득하고 모션 네트워크를 통해 저주파 변형 정보를 예측하고 저주파 정보를 사용하여 고주파 정보를 예측하고 최종적으로 시뮬레이션 결과를 얻습니다(가장 오른쪽 그래픽).

3 시뮬레이션 매개 변수

다양한 매개 변수를 평가하고 RBF 네트워크를 통해 보지 못한 시뮬레이션 매개 변수 결과를 예측하여 일련의 네트워크 매개 변수를 사용할 수 있습니다. 다양한 예측 만들 수 있습니다.

5. 방법

① 데이터 준비

먼저 실제 데이터를 생성해야 합니다. Houdini Vellum Solver를 사용하여 약 40,000프레임의 애니메이션을 시뮬레이션했습니다. 우리는 실제 사람들의 모션 캡처 결과를 사용하지 않고 인터넷의 비디오 동작을 사용했습니다. 우리는 큰 움직임을 시뮬레이션하고 싶지만 실제 사람의 움직임은 더 작기 때문입니다.

②Skin Decomposition

저주파 변형 시퀀스 가상 뼈를 얻기 위해 피부 분해를 사용하고 그 결과는 Rest Pose와 각 뼈 Skin Weight를 포함하는 선형 하이브리드 스킨 모델입니다. . 각 프레임에서 가상 뼈대의 이동 및 회전도 획득됩니다. 가상 뼈에는 계층적 관계가 없으며 상위 뼈와 하위 뼈 사이에는 관계가 없으며 각 뼈에는 자체 회전 및 이동이 있습니다.

또한 가상 뼈는 실제적인 의미가 없습니다. 각 특정 애니메이션에 대해 가상 뼈가 얻어집니다. Motion Network를 사용하여 신체 입력을 처리합니다. 각 네트워크는 서로 다른 신체 시뮬레이션 매개변수에 해당합니다. 입력은 관절의 회전과 캐릭터의 이동뿐이고 출력은 물리적 매개변수에 해당하는 메시 추론 결과입니다.

3 Action Network

Action Network는 저주파 부분과 고주파 부분을 순차적으로 추론합니다.

• 저주파 모듈

저주파 부분은 순환 신경망 GRU를 사용하여 입력된 신체 움직임을 가상 뼈의 회전 및 이동으로 변환하는 장점이 있습니다. 네트워크는 이전 프레임 정보를 얻을 수 있어 동적 효과를 더 잘 포착하기 위해 가상 뼈 선형 블렌딩 스키닝을 사용하여 저주파 변형을 얻을 수 있습니다.

• 고주파 모듈

액션 네트워크는 고주파수 부분을 예측하는 데 사용할 수 있습니다. 하나는 고주파 특성을 얻기 위한 GRU이고, 다른 하나는 GNN입니다. 저주파 부분 특징을 얻고 두 부분의 특징을 결합하여 MLP를 통해 고주파 정보를 얻습니다. 최종 결과는 고주파수와 저주파 결과를 합산하여 얻습니다.

• RBF Neural Network

우리는 물리적 시뮬레이션 매개변수 입력을 처리하기 위해 다양한 동작으로 많은 모션 네트워크를 훈련했습니다. 동일한 작업을 사용하여 RBF 신경망은 시뮬레이션 매개변수와 해당 네트워크의 시뮬레이션 매개변수 사이의 거리에 따른 가중치 계수를 사용하여 이러한 결과를 추가하고 거리를 계산하기 전에 다층 퍼셉트론을 사용하여 매개변수를 공간에 투영합니다.

6. 결과

실시간 시뮬레이션에서는 시뮬레이션 매개변수를 변경하지 않고도 헐렁한 옷을 매우 잘 시뮬레이션할 수 있습니다. 왼쪽의 시뮬레이션 결과는 Ground Truth에 매우 가깝고, 오른쪽은 가변 매개변수를 다루고 있습니다.

또 다른 질문은 가상 뼈의 수를 선택하는 방법입니다. 우리 실험에서는 저주파 부분의 경우 숫자가 너무 작으면 아무런 효과가 없고, 너무 많으면 큰 도움이 되지 않는 것으로 나타났습니다. 하지만 고주파 부분의 경우 가상 뼈가 많을수록 디테일이 잘 표현될 수 있습니다.

• 가상 뼈의 개수

• 느슨한 부분을 개선

느슨하다는 것은 옷과 옷 사이의 거리를 의미합니다. 인체, 빨간색 부분은 더 멀리, 파란색 부분은 더 멀다는 것을 의미합니다. 좁은 섹션을 의미하며, 결과(맨 오른쪽)가 더 좋다는 것을 알 수 있습니다.

이것은 저주파와 고주파 사례의 비교 차트이며 실제 값에 더 가깝습니다.

• 정성적 비교 결과

시각적으로 여러 방법의 비교를 보면 우리의 효과는 Ground Truth와 약간 다르지만 고주파, 저주파에 관계없이 상대적으로 더 좋습니다. 부분. 모두 비교적 가깝습니다.

• 정량적 비교 결과

또한 RMSE, STED, 기타 지표 등 정량적 분석을 실시한 결과, 기존 방법에 비해 월등히 우수한 것으로 나타났습니다. 꽉 끼는 옷과 전통 옷의 경우 방법도 꽤 비슷합니다.

• RBF 절제 실험

우리 방법을 검증하기 위해 RBF 네트워크를 통해 절제 실험을 수행했습니다.

7. 향후 전망 및 요약

매우 큰 움직임의 경우, 시뮬레이션 결과의 다리가 옷을 통과할 수 있기 때문입니다. 향후에는 다른 스키닝 방법을 사용하여 더 나은 결과를 얻을 수도 있습니다.

고정밀 얼굴 재구성과 애니메이션은 게임, 가상 인간, 메타버스 등 많은 응용 분야에서 매우 중요하며 모두 실시간 처리가 필요하며 큰 과제이기도 합니다. 또한 의복은 인체의 80% 이상을 덮고 있는 디지털휴먼의 중요한 부분이기도 하다. 그래픽 응용 프로그램에서는 가까운 거리에서는 얼굴에 더 많은 주의를 기울이지만 약간 더 먼 거리에서는 옷에 더 많은 주의를 기울입니다. 앞으로의 개발 방향은 저렴한 방법을 사용하여 매우 사실적인 실시간 디지털 휴먼 애플리케이션을 구축하는 것이라고 생각합니다.

IV. 질의응답 세션

Q1: 가상 해골의 일반화를 보장하는 방법은 무엇입니까?

A1: 가상 뼈는 계산됩니다. 옷 세트를 바꾸려면 새로운 뼈를 재생해야 하며 개수와 변형도 다릅니다. 추론 시 실시간으로 계산됩니다.

Q2: 입체의상 만들기 쉽나요?

A2: 이전에 배운 적이 없는 사람도 훈련 후에 빠르게 배울 수 있습니다. 처음부터 의상을 디자인하더라도 한두 시간 안에 매우 복잡한 의상을 디자인할 수 있습니다.

위 내용은 ​디지털 휴먼 모델링 및 애니메이션 핵심 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!