날아다니는 것, 입을 벌리는 것, 쳐다보는 것, 눈썹을 치켜올리는 것 등의 얼굴 특징을 AI가 완벽하게 모방할 수 있어 영상사기 예방이 불가능하다.

이렇게 강력한 AI 모방 능력을 가지고 있어서 방어하는 것은 정말 불가능하고, 방어하는 것은 전혀 불가능합니다. 이제 AI의 발전이 이 정도 수준에 이르렀나?

앞발을 움직여 이목구비를 날리게 하고, 뒷발에서는 쳐다보는 것, 눈썹을 치켜올리는 것, 삐죽이는 것 등 아무리 과장된 표정이라도 모두 완벽하게 흉내낸다.

난이도를 높이고, 눈썹을 더 높이 올리고, 눈을 크게 뜨고, 입 모양까지 비뚤어져 있으며, 가상 캐릭터 아바타는 표정을 완벽하게 재현할 수 있습니다.

왼쪽의 매개변수를 조정하면 오른쪽의 가상 아바타도 그에 따라 움직임이 변경됩니다.

입과 눈을 클로즈업해 보세요. 완전히 동일하다고 말하면 표현이 정확히 동일하다고 말할 수 있습니다(맨 오른쪽).

이 연구는 표정, 자세, 시점(시점) 측면에서 완전히 제어할 수 있는 사실적인 머리 아바타를 만드는 데 사용할 수 있는 방법인 GaussianAvatars를 제안한 뮌헨 공과대학과 같은 기관에서 나왔습니다. .

• 논문 주소: https://arxiv.org/pdf/2312.02069.pdf
• 논문 홈페이지: https://shenhanqian.github.io/gaussian-avatars

컴퓨터 비전 및 그래픽 분야에서 인간을 역동적으로 표현할 수 있는 가상 머리를 만드는 것은 항상 어려운 문제였습니다. 특히 극단적인 표정이나 디테일 표현에 있어서 주름, 머리카락 등 디테일을 포착하기가 상당히 어렵고, 생성된 가상 캐릭터는 시각적 아티팩트로 고통받는 경우가 많습니다

과거에는 신경방사장( NeRF) ) 및 그 변형은 다중 뷰 관찰에서 정적 장면을 재구성하는 데 인상적인 결과를 얻었습니다. 후속 연구에서는 이러한 방법을 확장하여 NeRF를 인간 맞춤형 시나리오의 동적 장면 모델링에 사용할 수 있게 되었습니다. 그러나 이러한 방법의 단점은 제어성이 부족하여 새로운 포즈와 표정에 잘 적응할 수 없다는 것입니다.

최근 등장한 "3D Gaussian 스프레이" 방법은 NeRF보다 높은 렌더링 품질을 달성하며 실시간으로 사용할 수 있습니다. 구성을 봅니다. 하지만 이 방법은 재구성된 출력의 애니메이션을 지원하지 않습니다.

본 논문에서는 3차원 가우스 스플랫을 기반으로 한 동적 3D 머리 표현 방법인 GaussianAvatars를 제안합니다.

특히 FLAME(머리 전체 모델링) 메시가 주어지면 각 삼각형의 중심에서 3D 가우시안을 초기화했습니다. FLAME 메쉬가 애니메이션되면 각 가우시안 모델은 상위 삼각형을 기준으로 변환, 회전 및 크기 조정됩니다. 그런 다음 3D 가우스는 메시 상단에 방사 필드를 형성하여 메시가 정확하게 정렬되지 않거나 특정 시각적 요소를 재현하지 못하는 영역을 보상합니다.

가상 캐릭터의 높은 수준의 현실감을 유지하기 위해 이 기사에서는 구속력 있는 상속 전략을 채택합니다. 동시에 본 논문에서는 가상 캐릭터의 새로운 표정과 자세를 애니메이션화하기 위해 현실감과 안정성 사이의 균형을 유지하는 방법에 대해서도 연구합니다. 연구 결과에 따르면 기존 연구와 비교하여 GaussianAvatars는 새로운 뷰 렌더링 및 비디오 재현 촉진

Method Introduction

아래 그림 2에서 볼 수 있듯이 GaussianAvatars의 입력은 인간 머리의 다중 뷰 비디오 녹화. 각 시간 단계마다 GaussianAvatars는 측광 헤드 추적기를 사용하여 FLAME 매개변수를 다중 뷰 관찰 및 알려진 카메라 매개변수와 일치시킵니다.

FLAME 메쉬는 정점 위치는 다르지만 토폴로지는 동일하므로 팀은 메쉬 삼각형과 3D 가우스 표시 사이에 일관된 연결을 생성할 수 있습니다. 미분 가능한 타일 래스터라이저를 사용하여 스플랫을 이미지로 렌더링합니다. 그런 다음 실제 이미지 감독을 통해 사실적인 인간 머리 아바타를 학습합니다.

최적의 품질을 위해서는 일련의 적응형 밀도 제어 작업을 통해 가우스 스플랫으로 정적 장면을 압축하고 정리해야 합니다. 이를 달성하기 위해 연구팀은 삼각형과 스플랫 사이의 연결을 파괴하지 않으면서 새로운 가우시안 포인트를 FLAME 메쉬에 바인딩하는 바인딩 상속 전략을 설계했습니다. 재구성 품질을 평가하고 자기 재발을 통해 애니메이션 충실도를 평가합니다. 아래 그림 3은 다양한 방법 간의 정성적 비교 결과를 보여줍니다. 새로운 관점 합성 측면에서 모든 방법은 합리적인 렌더링 결과를 생성할 수 있습니다. 그러나 PointAvatar의 결과를 자세히 살펴보면 고정된 포인트 크기로 인해 포인트 아티팩트가 발생하는 것을 볼 수 있습니다. 3D 가우스 이방성 스케일링 기술을 사용하는 GaussianAvatar는 이 문제를 완화할 수 있습니다

표 1의 정량적 비교에서 유사한 결론을 도출할 수 있습니다. GaussianAvatars는 다른 방법에 비해 새로운 시점 합성에서 좋은 성능을 보이고, 자기 재현성도 뛰어나며, LPIPS에서 지각 차이를 크게 줄였습니다. 자체 재현은 FLAME 그리드 추적을 기반으로 하며 대상 이미지와 완전히 정렬되지 않을 수 있다는 점에 유의해야 합니다.

실제 세계에서 아바타 애니메이션의 성능을 테스트하기 위해 연구는 다음과 같은 실험을 통해 수행되었습니다. 아이덴티티 재생산. 그 결과 아바타는 소스 배우의 눈 깜박임과 입 움직임을 정확하게 재현하여 주름 등 생생하고 복잡한 역동성을 표현하는 것으로 나타났습니다. 연구 Ablation 실험도 수행하였고, 그 결과는 아래와 같습니다.

위 내용은 날아다니는 것, 입을 벌리는 것, 쳐다보는 것, 눈썹을 치켜올리는 것 등의 얼굴 특징을 AI가 완벽하게 모방할 수 있어 영상사기 예방이 불가능하다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!