Hasilkan manusia digital Marvel 3D dalam masa lima minit! American Spider-Man dan Joker semuanya boleh melakukannya, dan butiran wajah dipulihkan dalam definisi tinggi.

Dengan pembangunan grafik komputer, teknologi penjanaan 3D secara beransur-ansur menjadi tumpuan penyelidikan. Walau bagaimanapun, masih terdapat banyak cabaran dalam menghasilkan model 3D daripada teks atau imej.

Baru-baru ini, syarikat seperti Google, NVIDIA dan Microsoft telah melancarkan kaedah penjanaan 3D berdasarkan medan sinaran saraf (NeRF), tetapi kaedah ini tidak serasi dengan perisian pemaparan 3D tradisional (seperti Unity, Unreal Engine, Maya, dsb.) Isu seksual mengehadkan penggunaannya yang meluas dalam aplikasi praktikal.

Untuk tujuan ini, pasukan R&D Teknologi Yingmo dan Universiti ShanghaiTech mencadangkan rangka kerja penjanaan 3D progresif berpandukan teks yang direka untuk menyelesaikan masalah ini.

Jana aset 3D berdasarkan penerangan teks

Rangka kerja penjanaan 3D progresif berpandukan teks (DreamFace ringkasnya) yang dicadangkan oleh pasukan penyelidik menggabungkan model bahasa visual, model resapan tersirat dan berasaskan fizik Teknologi penyebaran bahan menjana aset 3D yang mematuhi piawaian pengeluaran grafik komputer.

Inovasi rangka kerja ini terletak pada tiga modulnya: penjanaan geometri, penjanaan resapan bahan berasaskan fizik dan penjanaan keupayaan animasi.

Karya ini telah diterima oleh jurnal teratas Transactions on Graphics dan akan dibentangkan di persidangan grafik komputer antarabangsa teratas SIGGRAPH 2023.

Tapak web projek: https://sites.google.com/view/dreamface
Kertas pracetak: https://arxiv.org/abs/2304.03117
Demo Web: https://hyperhuman.top
Ruang Muka Memeluk: https :/ /huggingface.co/spaces/DEEMOSTECH/ChatAvatar

Cara melaksanakan tiga fungsi utama DreamFace

DreamFace terutamanya merangkumi tiga modul, penjanaan geometri dan bahan berasaskan fizik Keupayaan resapan dan animasi dihasilkan. Berbanding dengan kerja penjanaan 3D sebelumnya, sumbangan utama karya ini termasuk:

1. Cadangan DreamFace, skema penjanaan novel yang menggabungkan model bahasa visual terkini dengan wajah yang boleh dianimasikan dan fizikal Aset digabungkan untuk memisahkan geometri , penampilan dan keupayaan animasi melalui pembelajaran progresif.
2. Memperkenalkan reka bentuk penjanaan penampilan dwi-saluran, menggabungkan model penyebaran bahan novel dengan model pra-latihan, sambil melakukan pengoptimuman dua peringkat dalam ruang terpendam dan ruang imej.
3. Aset muka menggunakan BlendShapes atau Personalized BlendShapes yang dijana dianimasikan dan seterusnya menunjukkan penggunaan DreamFace untuk reka bentuk watak semula jadi.

Penjanaan geometri: Modul ini menjana model geometri berdasarkan gesaan teks melalui rangka kerja pemilihan CLIP (Contrastive Language-Image Pra-Training).

Mula-mula sampel secara rawak daripada ruang parameter geometri muka, dan kemudian pilih model geometri kasar dengan skor padanan tertinggi berdasarkan gesaan teks.

Seterusnya, butiran muka dan peta normal terperinci ditambah pada model geometri kasar menggunakan Model Resapan Tersirat (LDM) dan pemprosesan Pensampelan Penyulingan Berskor (SDS) untuk menjana geometri ketepatan tinggi.

Penjanaan resapan bahan berasaskan fizikal : Modul ini menyasarkan geometri dan Petua teks yang diramalkan untuk menghasilkan tekstur muka. Pertama, LDM diperhalusi untuk mendapatkan dua model resapan.

Kedua-dua model itu kemudiannya diselaraskan melalui skim latihan bersama, satu untuk menafikan peta tekstur U secara langsung dan satu lagi untuk pemaparan imej yang diselia. Selain itu, strategi pembelajaran petunjuk dan penutupan bukan kawasan muka digunakan untuk memastikan kualiti peta meresap yang dihasilkan.

Akhir sekali, modul peleraian super digunakan untuk menjana tekstur berasaskan fizikal 4K untuk pemaparan berkualiti tinggi.

Penjanaan keupayaan animasi : Model yang dihasilkan oleh DreamFace mempunyai keupayaan animasi. Berbeza daripada kaedah berasaskan BlendShapes tradisional, rangka kerja ini menghidupkan model Neutral dengan meramalkan ubah bentuk unik untuk menghasilkan animasi yang diperibadikan.

Mula-mula latih penjana geometri untuk mempelajari ruang terpendam ungkapan, dan kemudian latih pengekod ekspresi untuk mengekstrak ciri ekspresi daripada imej RGB. Akhir sekali, animasi diperibadikan dijana dengan menggunakan imej RGB monokular.

Jana aset 3D yang ditentukan dalam masa 5 minit

Rangka kerja DreamFace telah mencapai hasil yang baik dalam tugas seperti penjanaan selebriti dan penjanaan perihalan, dan telah mencapai hasil yang melebihi kerja sebelumnya dalam penilaian pengguna.

Pada masa yang sama, berbanding dengan kaedah sedia ada, ia mempunyai kelebihan yang jelas dalam masa berjalan.

Selain itu, DreamFace menyokong penyuntingan tekstur menggunakan petua dan lakaran untuk mencapai kesan penyuntingan global (seperti penuaan, solek) dan kesan penyuntingan tempatan (seperti sebagai tatu), janggut, tanda lahir).

Boleh digunakan dalam filem, televisyen, permainan dan industri lain

Sebagai rangka kerja penjanaan 3D progresif berpandukan teks, DreamFace menggabungkan model visual -Bahasa, model resapan tersirat dan teknologi penyebaran bahan berasaskan fizikal mencapai penjanaan 3D dengan ketepatan tinggi, kecekapan tinggi dan keserasian yang baik.

Rangka kerja ini menyediakan penyelesaian yang berkesan untuk menyelesaikan tugas penjanaan 3D yang kompleks dan dijangka menggalakkan lebih banyak penyelidikan dan pembangunan teknologi yang serupa.

Selain itu, penjanaan penyebaran bahan berasaskan fizikal dan penjanaan keupayaan animasi akan menggalakkan aplikasi teknologi penjanaan 3D dalam pengeluaran filem dan televisyen, pembangunan permainan dan industri lain yang berkaitan.

Atas ialah kandungan terperinci Hasilkan manusia digital Marvel 3D dalam masa lima minit! American Spider-Man dan Joker semuanya boleh melakukannya, dan butiran wajah dipulihkan dalam definisi tinggi.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!