머신러닝을 사용하여 비디오 속 얼굴 재구성

번역가 | Cui Hao

리뷰어 | Sun Shujuan

열기

중국과 영국의 공동 연구로 동영상의 얼굴을 변형하는 새로운 방법이 고안되었습니다. 이 기술은 인위적인 트리밍 흔적 없이 높은 수준의 일관성으로 얼굴 구조를 확대 및 축소합니다.

일반적으로 이러한 얼굴 구조 변형은 얼굴을 완전히 재구성하기 위해 자세하고 비용이 많이 드는 모션 캡핑, 리깅 및 텍스처링 절차를 사용하는 전통적인 CGI 방법을 통해 이루어집니다.

기존 방법과 달리 신기술의 CGI는 3D 얼굴 정보의 매개변수로 신경 파이프라인에 통합되어 기계 학습 워크플로의 기초 역할을 합니다.

저자는 다음과 같이 지적합니다.

“우리의 목표는 현실 세계의 자연스러운 얼굴을 기반으로 얼굴 윤곽을 변형하고 편집하여 고품질 인물 재구성 비디오 [결과]를 생성하는 것입니다. 얼굴 미화 및 얼굴 과장과 같은 시각 효과 응용 프로그램에 사용됩니다.

2D 얼굴 왜곡 기술은 Photoshop의 출현 이후 소비자에게 제공되었지만(그리고 이를 사용하지 않고 비디오에 대한 얼굴 왜곡 및 신체 이형의 하위 문화가 발생했습니다). CGI는 여전히 어려운 기술입니다

신기술로 인해 마크 주커버그의 얼굴 크기가 확대되고 축소되었습니다

현재 신체 성형은 컴퓨터를 기반으로 하며 주로 패션 분야의 잠재력 때문에 화제가 되고 있습니다. 사람들의 키를 더 크고 다양한 뼈로 보이게 만드는 것과 같은 전자 상거래에는 여전히 몇 가지 과제가 있습니다.

다시 말하지만, 비디오에서 얼굴 모양을 바꾸는 것이 연구원 작업의 핵심이었습니다. 기술 구현은 인간 처리 및 기타 제한으로 인해 방해를 받았습니다. 따라서 신제품은 이전에 연구된 기능을 정적 확장에서 동적 비디오 출력으로 마이그레이션합니다.

새로운 시스템은 AMD Ryzen 9 3950X 및 32GB 메모리가 장착된 데스크톱 PC에서 교육됩니다. , 그리고 OpenCV의 광학 흐름 알고리즘을 사용하여 Motion Map을 생성하고 StructureFlow 프레임워크를 통해 이를 매끄럽게 합니다. 얼굴 최적화 문제를 해결하기 위해 Ceres Solver와 함께 작동하는 인기 있는 deepfakes 구성 요소에도 사용되는 FAN(얼굴 정렬 네트워크)

새 시스템을 사용하여 얼굴을 확대한 예

이 논문의 제목은 저장 대학교의 세 명의 연구원과 바스 대학교의 한 연구원입니다.

얼굴 정보

새로운 시스템에서는 비디오를 이미지 시퀀스로 추출하여 먼저 얼굴에 대한 기본 모델을 구축한 다음 대표적인 후속 프레임을 연결하여 전체 이미지 실행 방향(즉, 비디오 프레임의 방향)을 따라 일관된 성격 매개변수를 구성합니다.

얼굴 변형 시스템의 구조적 과정

그런 다음 계산식에 따라 선형 회귀로 구현된 성형 매개변수가 생성됩니다. 그런 다음 얼굴 윤곽의 2D 매핑이 얼굴 재구성을 통해 구성됩니다.

마지막으로 출력 비디오는 콘텐츠 인식을 위해 변형 최적화를 거칩니다.

이 프로세스에서는 3DMM(3D Morphable Face Model)이 딥페이크 탐지에도 적합한 신경 및 GAN 기반 얼굴 합성 보조 도구를 활용합니다. 시스템

3DMM(3D Morphable Face Model)의 예 — —새 프로젝트에 사용되는 파라메트릭 프로토타입 표면. 왼쪽 상단, 3DMM 표면의 상징적인 애플리케이션. 오른쪽 상단, 아이소맵의 3D 메시 정점. 왼쪽 하단에는 특징 핏이 표시되고, 하단 중앙 사진에는 추출된 얼굴 질감의 아이소맵이 표시되며, 오른쪽 하단에는 최종 핏과 모양이 표시됩니다.

새 시스템의 작업 흐름은 객체가 뷰에서 멀어지는 경우와 같은 폐색 상황을 고려합니다. FAN 랜드마크는 이러한 상황을 거의 설명할 수 없고 얼굴을 피하거나 가리면 번역 품질이 저하되는 경향이 있기 때문에 이는 딥페이크 소프트웨어의 가장 큰 과제 중 하나이기도 합니다.

새로운 시스템은 3D 얼굴(3DMM)과 2D 얼굴(FAN 랜드마크로 정의)의 경계를 일치시키는 "윤곽 에너지"를 정의하여 위의 문제를 방지합니다.

최적화

이 시스템의 적용 시나리오는 화상 채팅에서 필터의 실시간 얼굴 모양 변경과 같은 실시간 변형입니다. 현재 프레임워크는 이를 달성할 수 없으므로 "실시간" 변형을 가능하게 하는 데 필요한 컴퓨팅 리소스를 제공하는 것이 중요한 과제가 됩니다.

논문의 가설에 따르면 초당 자료에 비해 파이프라인에서 24fps 비디오의 각 프레임 작업 지연 시간은 16.344초입니다. 동시에 특징 추정 및 3D 얼굴 변형의 경우에도 발생합니다. 1회 적중(각각 321밀리초 및 160밀리초) 밀리초).

결과적으로 최적화는 지연 시간을 줄이는 데 중요한 진전을 이루었습니다. 모든 프레임에 대한 공동 최적화는 시스템 오버헤드를 크게 증가시키고 초기화 스타일의 최적화(전체적으로 일관된 스피커 특성을 가정)로 인해 이상 현상이 발생할 수 있으므로 저자는 샘플링된 프레임의 실제 간격에서 계수를 계산하기 위해 희소 모드를 채택했습니다.

그런 다음 이 프레임 하위 집합에 대해 공동 최적화가 수행되어 재구성 프로세스가 더 간결해집니다.

Facial Surfaces

이 프로젝트에 사용된 모핑 기술은 작가의 2020년 작품 Deep Shapely Portraits(DSP)를 각색한 것입니다.

Deep Shapely Portraits, 2020년 ACM Multimedia에 제출. 이 논문은 Zhejiang University-Tencent 게임 및 지능형 그래픽 혁신 기술 공동 연구소의 연구원이 주도했습니다.

저자는 "우리는 이 방법을 단일 이미지 재구성에서 전체 이미지 시퀀스 재구성으로 확장했습니다."라고 관찰했습니다. 논문에서는 새로운 접근 방식을 평가할 수 있는 비교 가능한 역사적 데이터가 없다고 지적합니다. 따라서 저자는 곡선 비디오 출력 프레임을 정적 DSP 출력과 비교했습니다.

Deep Shapely Portraits의 정적 이미지에 대해 새 시스템 테스트

저자는 DSP 방법이 희소 매핑 사용으로 인해 아티팩트가 발생한다는 점을 지적합니다. 새 프레임워크는 조밀 매핑을 통해 이 문제를 해결합니다. 더욱이 이 논문은 DSP로 제작된 비디오가 부드러움과 시각적 일관성이 부족하다고 주장합니다.

저자는 다음과 같이 지적합니다.

“결과는 우리의 방법이 변형된 인물 사진 비디오를 안정적이고 일관되게 생성할 수 있는 반면, 이미지 기반 방법은 눈에 띄게 깜박이는 아티팩트(인위적 변형 흔적)로 쉽게 이어질 수 있음을 보여줍니다.”

번역된 저자 소개

Cui Hao, 51CTO 커뮤니티 편집자, 선임 설계자는 18년의 소프트웨어 개발 및 아키텍처 경험과 10년의 분산 아키텍처 경험을 보유하고 있습니다. 이전에는 HP의 기술 전문가였습니다. 그는 공유할 의지가 있으며 600,000회 이상 읽힌 많은 인기 기술 기사를 작성했습니다. "분산 아키텍처의 원리와 실제"의 저자입니다.

원제:

​

​

Restructuring Faces in Videos With Machine Learning​​, 저자: Martin Anderson

위 내용은 머신러닝을 사용하여 비디오 속 얼굴 재구성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!