NeRFFaceEditing, kaedah penyuntingan topeng untuk medan sinaran saraf muka, boleh mengedit muka tiga dimensi tanpa pemodelan 3D.

Ingin mereka bentuk wajah tiga dimensi yang sangat realistik secara peribadi, tetapi mendapati anda tidak biasa dengan perisian reka bentuk profesional? Kaedah penyuntingan muka 3D NeRFFaceEditing menyediakan penyelesaian baharu Walaupun anda tidak mengetahui pemodelan 3D, anda boleh mengedit wajah tiga dimensi yang sangat realistik dan memodelkan potret digital yang diperibadikan dalam metaverse.

NeRFFaceEditing telah disiapkan oleh penyelidik dari Institut Teknologi Pengkomputeran, Akademi Sains China dan City University of Hong Kong kertas teknikal berkaitan diterbitkan pada persidangan grafik komputer teratas ACM SIGGRAPH Asia 2022 .

Laman utama projek: http://geometrylearning.com/NeRFFaceEditing/

NeRFFaceEditing menggunakan topeng semantik dua dimensi sebagai jambatan untuk penyuntingan geometri tiga dimensi Pengeditan semantik yang dilakukan oleh pengguna dari satu perspektif boleh disebarkan ke keseluruhan geometri muka tiga dimensi sambil mengekalkan bahan tidak berubah. Tambahan pula, memandangkan imej yang mewakili gaya rujukan, pengguna boleh menukar gaya bahan keseluruhan muka 3D dengan mudah sambil mengekalkan geometri tidak berubah.

Berdasarkan sistem penyuntingan muka 3D berdasarkan kaedah ini, pengguna yang tidak biasa dengan reka bentuk 3D profesional boleh dengan mudah melaksanakan reka bentuk wajah yang diperibadikan dan menyesuaikan bentuk dan penampilan muka. Mari kita lihat dua kesan hebat menggunakan NeRFFaceEditing!

​Rajah 1 Kesan penyuntingan geometri: suntingan pada topeng semantik dua dimensi disebarkan kepada keseluruhan tiga dimensi ruang geometri

Rajah 2 Kesan pemindahan gaya: Gunakan gaya yang diberikan pada keseluruhan muka tiga -ruang dimensi. Mengekalkan geometri tidak berubah

Latar Belakang Bahagian I

Dalam beberapa tahun kebelakangan ini, dengan perkembangan medan sinaran saraf [1] dan adversarial rangkaian generatif [2 ], pelbagai rangkaian penjanaan muka 3D yang berkualiti tinggi dan pantas telah dicadangkan, termasuk EG3D [3].

Rajah 3 Kesan penjanaan dan perwakilan geometri bagi perspektif berbeza EG3D

Perwakilan tiga satah kaedah ini menggabungkan rangkaian adversarial generatif dua dimensi tradisional dan perwakilan tersirat tiga dimensi terkini, sekali gus mewarisi keupayaan penjanaan berkuasa StyleGAN [4] dan keupayaan perwakilan saraf medan sinaran. Walau bagaimanapun, model generatif ini tidak dapat menyediakan kawalan terpisah bagi geometri dan bahan muka manusia, yang merupakan ciri yang sangat diperlukan untuk aplikasi seperti reka bentuk aksara 3D.

Kerja sedia ada, seperti DeepFaceDrawing [5] dan DeepFaceEditing [6], boleh merealisasikan kawalan penyahgandingan geometri dan bahan berdasarkan lukisan garisan serta penjanaan dan penyuntingan muka dua dimensi imej. DeepFaceVideoEditing [7] menggunakan pengeditan lukisan garisan untuk menghadapi video, yang boleh menjana kesan pengeditan yang kaya dalam siri masa.

Walau bagaimanapun, kaedah penyahgandingan dan penyuntingan imej sukar digunakan secara langsung pada ruang tiga dimensi. Walau bagaimanapun, kaedah penyahgandingan geometri dan bahan sedia ada untuk muka tiga dimensi selalunya memerlukan latihan semula parameter rangkaian, dan kaedah perwakilan spatial yang digunakan mempunyai had yang lebih besar dan tidak mempunyai sifat yang baik bagi perwakilan tiga satah. Untuk menyelesaikan masalah di atas, NeRFFaceEditing adalah berdasarkan parameter model pra-latihan bagi rangkaian musuh generatif tiga dimensi yang diwakili oleh tiga satah, dan menggunakan topeng semantik dua dimensi dari sebarang perspektif sebagai medium untuk merealisasikan penyuntingan geometri. muka tiga dimensi dan penyelesaian bahan kawalan.

Bahagian 2 Prinsip algoritma NeRFFaceEditing

Selepas penjana tiga satah menjana tiga satah, ia diilhamkan oleh AdaIN [8], iaitu untuk peta ciri dua dimensi (Peta Ciri), Statistiknya boleh mewakili gayanya dan NeRFFaceEditing menguraikan tiga satah kepada min dan sisihan piawai (a) yang menyatakan ciri bahan aras tinggi invarian ruang, dan menormalkan tiga satah yang menyatakan ciri geometri yang berbeza-beza dari segi ruang. Menggabungkan satah tiga piawai dan ciri bahan terurai (a) boleh memulihkan satah tiga asal. Oleh itu, memandangkan ciri-ciri bahan yang berbeza, geometri yang sama boleh diberikan bahan yang berbeza.

Selanjutnya, untuk mencapai kawalan terpisah bagi geometri dan bahan, NeRFFaceEditing menguraikan penyahkod tunggal asal kepada penyahkod geometri dan penyahkod bahan. Penyahkod geometri memasukkan ciri, ramalan ketumpatan dan label semantik yang diperoleh daripada pensampelan tiga satah yang dinormalkan, dan digunakan untuk menyatakan isipadu topeng geometri dan semantik (Volume) muka 3D. Ciri geometri dan ciri bahan (a) digabungkan melalui modul modul bahan boleh dikawal (CAM), dan kemudian ciri sampel dimasukkan ke dalam penyahkod bahan untuk meramalkan warna. Akhirnya, melalui pemaparan volum, imej muka dan topeng semantik yang sepadan dari perspektif tertentu diperolehi. Memandangkan ciri bahan yang berbeza (b), ciri geometri dan ciri bahan (b) boleh digunakan untuk mendapatkan imej muka lain dengan geometri tidak berubah dan bahan yang diubah melalui modul CAM dan rendering volum. Struktur rangkaian keseluruhan ditunjukkan dalam rajah di bawah:

Rajah 4 Seni bina rangkaian NeRFFaceEditing

Selain itu, untuk mengekang hasil rendering sampel dengan ciri bahan yang sama tetapi geometri berbeza untuk menjadi serupa dalam bahan, NeRFFaceEditing menggunakan topeng semantik yang dijana dan menggunakan ciri histogram untuk mewakili ini masing-masing. Taburan warna komponen muka yang berbeza, seperti rambut, kulit, dsb., dalam sampel dengan ciri bahan yang sama tetapi geometri berbeza. Jumlah jarak taburan warna sampel ini ke atas komponen individu kemudiannya dioptimumkan. Seperti yang ditunjukkan dalam rajah di bawah:

Rajah 5 Strategi latihan kekangan persamaan bahan

Bahagian 3 Paparan kesan dan perbandingan percubaan

Menggunakan NeRFFaceEditing, anda boleh menggunakan topeng semantik dua dimensi untuk melakukan pengeditan geometri pada ruang muka tiga dimensi:

Rajah 6 Penyuntingan geometri muka 3D

Selain itu, ia juga boleh berdasarkan Rujuk gambar untuk melakukan pemindahan gaya bahan dalam ruang tiga dimensi konsisten tiga dimensi:

Rajah 7 Pemindahan gaya muka tiga dimensi

atas dasar ini, aplikasi interpolasi muka dan ubah bentuk boleh dilaksanakan. sudut kiri atas dan sudut kanan bawah digunakan sebagai titik permulaan dan penamat, dan kamera, geometri dan bahan adalah Lakukan interpolasi linear:

Rajah 8 Paparan kesan ubah bentuk muka yang dipisahkan

Menggunakan PTI [9] untuk menayangkan semula imej sebenar ke dalam ruang terpendam NeRFFaceEditing, menyunting dan pemindahan gaya imej sebenar juga boleh dicapai. Melalui ini, NeRFFaceEditing turut dibandingkan dengan kaedah sumber terbuka lain untuk penyuntingan muka yang boleh mengawal sudut tontonan iaitu SofGAN [10], membuktikan keunggulan kaedah tersebut.

Rajah 9 Contoh penyuntingan geometri tiga dimensi bagi imej sebenar. Dapat dilihat bahawa keaslian NeRFFaceEditing adalah lebih baik daripada SofGAN, dan SofGAN mempunyai perubahan tertentu dalam identiti dari perspektif lain.

Rajah 10 Contoh pemindahan gaya imej sebenar. Dapat dilihat bahawa SofGAN mempunyai kelemahan tertentu dan terdapat perubahan tertentu dalam identiti.

Bahagian 4 Kesimpulan dan Penghargaan

Penjanaan kandungan digital digunakan secara meluas dalam bidang pengeluaran industri dan media digital, terutamanya untuk manusia digital maya . Penjanaan dan penyuntingan telah mendapat perhatian meluas baru-baru ini, dan penyuntingan yang dipisahkan bagi geometri muka 3D dan bahan adalah penyelesaian yang mungkin untuk membentuk imej maya sebenar yang diperibadikan.

Sistem NeRFFaceEditing, melalui reka bentuk penyahgandingan rangkaian penjanaan muka 3D, boleh mengubah pengubahsuaian pengguna topeng semantik daripada perspektif dua dimensi ke dalam geometri keseluruhan tiga- ruang dimensi Ubah suai dan pastikan bahan tidak berubah. Di samping itu, dengan bantuan strategi latihan yang meningkatkan kesan pemindahan gaya, pemindahan gaya bahan yang berkesan dalam ruang tiga dimensi boleh dicapai. Kertas kerja NeRFFaceEditing telah diterima oleh ACM SIGGRAPH ASIA 2022, persidangan grafik komputer teratas.

Pasukan penyelidik projek ini termasuk Jiang Kaiwen, seorang pelajar sarjana muda dalam kelas elit Institut Teknologi Pengkomputeran, Akademi Sains China (pengarang pertama), Penyelidik Bersekutu Gao Lin ( pengarang yang sepadan untuk artikel ini), Dr. Chen Shuyu dan Profesor Fu Hongbo Universiti Kota Hong Kong, dsb. Untuk butiran lanjut tentang kertas kerja, sila lawati laman utama projek:

​http ://geometrylearning.com/NeRFFaceEditing/​

Atas ialah kandungan terperinci NeRFFaceEditing, kaedah penyuntingan topeng untuk medan sinaran saraf muka, boleh mengedit muka tiga dimensi tanpa pemodelan 3D.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!