Tencent Hunyuan bergabung tenaga dengan Universiti Sains dan Teknologi Hong Kong dan Universiti Tsinghua untuk melancarkan "Ikuti Emoji Anda", menukar foto menjadi emotikon dengan satu klik

Tusheng Video mempunyai cara baharu untuk dimainkan.

Tencent Hunyuan, Universiti Sains dan Teknologi Hong Kong dan Universiti Tsinghua bersama-sama melancarkan rangka kerja penjanaan animasi potret "Ikuti Emoji Anda", yang boleh menjana sebarang gaya animasi wajah melalui maklumat rangka muka. Berdasarkan inovasi algoritma dan pengumpulan data, "Ikuti Emoji Anda" boleh menyokong kawalan wajah yang diperhalusi, termasuk kening, mata, gulung mata dan butiran lain emotikon haiwan juga boleh "dimanipulasi" dengan mudah.

Ikuti Emoji Anda bukan sahaja menyokong penjanaan berbilang potret dengan satu ungkapan, tetapi juga menyokong penjanaan berbilang ekspresi daripada satu potret.

Dalam beberapa tahun kebelakangan ini, model resapan telah menunjukkan keupayaan generatif yang lebih baik daripada rangkaian generatif musuh (GAN) yang lebih lama. Sesetengah kaedah menggunakan model resapan asas yang berkuasa untuk penjanaan video dan imej berkualiti tinggi, tetapi model asas ini tidak boleh terus mengekalkan ciri identiti potret rujukan semasa proses animasi, menyebabkan hasil video menunjukkan herotan dan artifak tidak realistik. Ini adalah salah satu cabaran utama tugasan animasi potret.

Rajah: Carta alir keseluruhan kertas, bahagian atas adalah proses latihan, dan bahagian bawah adalah proses ujian

Dalam kajian ini, penyelidik mencadangkan rangka kerja animasi potret novel Ikut-Emoji Anda berdasarkan model resapan. Terdapat dua inovasi utama dalam algoritma.

Isyarat kawalan ekspresi ini boleh membimbing penjanaan animasi dengan berkesan. Penyelidik mencari maklumat melalui titik utama 3D potret (wajah) Memandangkan titik utama 3D mempunyai sifat normatif yang wujud, mereka boleh menyelaraskan tindakan sasaran dengan potret rujukan secara berkesan dan mengelakkan herotan yang akan membawa kepada ubah bentuk muka dalam video yang dihasilkan. . Teknologi ini mempunyai pelbagai aplikasi dan boleh digunakan untuk menghasilkan video perubahan muka.

Kedua, kajian itu juga mencadangkan fungsi kehilangan halus untuk wajah untuk membantu model memfokuskan pada menangkap perubahan ekspresi halus dan penampilan terperinci potret dalam foto rujukan. Secara khusus, pengarang mula-mula menggunakan topeng muka dan topeng ekspresi serta isyarat persepsi ekspresi pengarang, dan kemudian mengira jarak ruang antara nilai kebenaran tanah dan hasil ramalan dalam kawasan topeng ini untuk mencapai tahap pemulihan tinggi potret asal dengan pakej emotikon.

Untuk melatih model, kajian ini turut membina set data latihan ekspresi berkualiti tinggi, yang mengandungi 18 ekspresi berlebihan dan 20 minit video kehidupan sebenar daripada 115 subjek. Pada masa yang sama, kajian ini menggunakan strategi penjanaan progresif, yang membolehkan kaedah itu diperluaskan kepada sintesis animasi jangka panjang dengan kesetiaan dan kestabilan yang tinggi.

Rajah: Keputusan eksperimen kuantitatif dan keputusan eksperimen kualitatif kertas menunjukkan bahawa berbanding dengan kaedah sebelumnya, Follow-Your-Emoji boleh mencapai keputusan yang lebih baik

Akhir sekali, untuk menyelesaikan masalah kekurangan ujian penanda aras dalam bidang animasi potret, Penyelidikan ini juga memperkenalkan penanda aras komprehensif yang dipanggil EmojiBench, yang merangkumi 410 video animasi potret dalam pelbagai gaya, menunjukkan pelbagai ekspresi muka dan pose kepala. Penilaian komprehensif Follow-YourEmoji menggunakan EmojiBench menunjukkan bahawa kaedah ini berprestasi baik dalam mengendalikan potret dan tindakan di luar domain latihan, melakukan kedua-dua kuantitatif dan kualitatif dengan lebih baik daripada kaedah garis dasar sedia ada, memberikan perwakilan identiti kesetiaan visual yang sangat baik dan pemaparan gerakan yang tepat.

Laman Web:Ikuti-Emoji-Anda: Animasi Potret Gaya Bebas

Kertas:[2406.01900] Ikut-Emoji-Anda: Animasi Potret Gaya Bebas Halus dan Ekspresif

Atas ialah kandungan terperinci Tencent Hunyuan bergabung tenaga dengan Universiti Sains dan Teknologi Hong Kong dan Universiti Tsinghua untuk melancarkan "Ikuti Emoji Anda", menukar foto menjadi emotikon dengan satu klik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!