Teknologi utama untuk pemodelan dan animasi manusia digital

Pengenalan: Artikel ini akan memperkenalkan kerja penyelidikan berkaitan teknologi utama pemodelan dan animasi manusia digital daripada perspektif grafik, seperti pemodelan muka dan rambut penyuntingan. , pakaian maya, dsb., terutamanya termasuk bahagian berikut:

• Suntingan potret wajah dan reka bentuk pakaian.
• Set data dan kaedah garis dasar untuk guntingan bulu mata.
• Animasi masa nyata pakaian longgar berdasarkan pembelajaran mendalam.

1. Penyuntingan potret wajah dan reka bentuk pakaian

1 🎜>

menerbitkan kertas laporan lisan mengenai lemak potret video dan pelarasan nipis di ACM Multimedia2021 kesan semula jadi pemangkasan.

2. Penyingkiran dagu berganda ialah kertas kerja yang diterbitkan dalam Siggraph 2021. Mengeluarkan dagu berganda adalah sukar dalam penyuntingan muka kerana ia melibatkan kedua-dua tekstur dan geometri. Jika ditunjukkan, baris pertama ialah imej asal, dan dagu berganda boleh hilang secara beransur-ansur dengan melaraskan parameter (baris kedua).

3 Menanggalkan rambut daripada potret

Cara terbaik untuk membuang rambut daripada potret adalah untuk Menanggalkan rambut orang dalam foto yang diberikan. Anda boleh mengedit rambut, seperti menukar set rambut untuk watak Jika anda mengekalkan rambut asal, ia akan mengganggu hasil sintesis. Dalam pembinaan semula tiga dimensi orang digital, jika rambut asal dikekalkan, ia akan menyebabkan gangguan kepada tekstur. Kaedah kami boleh mendapatkan hasil pembinaan semula 3D tanpa gangguan tekstur rambut.

4 Pakaian maya

Ini baharu dalam Fesyen Metaverse. , sediakan foto, sintesis pakaian maya pada badan seseorang dan anda boleh memakai pakaian baharu sesuka hati.

Dalam pembangunan mampan, terdapat banyak masalah dalam industri fesyen. Pakaian maya menawarkan penyelesaian yang hebat.

Sebagai contoh, sebelah kiri adalah pakaian sebenar dan sebelah kanan adalah pakaian maya. Ia boleh dilihat bahawa pakaian maya dan pakaian sebenar adalah sangat serupa.

Model pakaian dan animasi manusia digital Xijaga dalam Persidangan Dunia Baidu 2022 disediakan oleh kami.

2. Set data dan kaedah garis dasar untuk guntingan bulu mata

1 Latar belakang penyelidikan

<.>

Gambar di atas ialah orang digital dalam filem itu, dan kerja pembedahan plastik maya.

Apa yang ingin kami kaji ialah cara membina kaedah pembinaan semula muka tiga dimensi berketepatan tinggi. Satu kaedah adalah untuk mengumpul foto pengguna dan menggunakan MVS untuk membina semula model tiga dimensi, tetapi kaedah ini mempunyai kesan yang buruk pada pemprosesan bulu mata. Kerana terdapat maklumat geometri dalam bulu mata, ia akan menyebabkan gangguan kepada pembinaan semula dan menjadikan kawasan mata tidak tepat.

2. Kerja berkaitan: Pembinaan semula muka berketepatan tinggi

Berkaitan. Terdapat banyak kerja penyelidikan, seperti geometri muka dan pembinaan semula rambut, pembinaan semula kelopak mata dan bola mata, dsb., tetapi tiada kaedah yang boleh dilaksanakan untuk mengedit bulu mata dengan tepat.

3 Algoritma pemadan imej dan set data pemadanan

① Kaedah pemadanan imej berdasarkan graf tiga bahagian​

Untuk mengedit bulu mata, anda boleh menggunakan guntingan untuk memotong bulu mata sebenarnya menyelesaikan persamaan yang tidak betul, seperti yang ditunjukkan dalam rajah di bawah. Ini adalah contoh potongan semula jadi gambar rajah tiga bahagian, boleh mendapatkan hasil yang baik. Walau bagaimanapun, kaedah ini mempunyai kelemahan Ia memerlukan input graf tiga bahagian, dan sangat sukar untuk membina graf tiga bahagian.

② Set data tikar imej

Terdapat banyak kerja pada set data tikar imej dalam beberapa tahun kebelakangan ini, sebagai contoh, set data daripada CVPR2009 ditunjukkan di bawah.

③ Potongan skrin biru

Potongan skrin biru banyak digunakan dalam kesan khas filem, biasanya menggunakan skrin hijau atau skrin biru, dan kemudian mengira nilai topeng latar depan melalui beberapa kaedah triangulasi.

4. Set data dan kaedah garis dasar untuk potongan bulu mata

① Pengenalan kepada kaedah garis dasar set data

Apa yang ingin kami selesaikan ialah potongan bulu mata. Input di sebelah kiri ialah foto yang mengandungi bulu mata, dan nilai topeng dikira melalui rangkaian tikar EyelashNet.

② Motivasi penyelidikan

Terdapat tekstur geometri di kawasan bulu mata apabila tiga dimensi pembinaan semula diparameterkan, Ia akan menyebabkan gangguan yang besar kepada keputusan dan kesannya akan menjadi sangat buruk Jika ia dilakukan oleh seorang artis, ia akan memakan masa yang sangat lama dan memerlukan tenaga kerja secara automatik bulu mata.

③ Cabaran Utama

Jika bulu mata dicabut secara manual, ia sangat memakan masa dan susah payah. Menggunakan kaedah penapisan Gabor, kesannya masih tidak baik. Kaedah tikar imej juga boleh digunakan, tetapi pembinaan set data adalah sangat sukar. Jika anda menggunakan potongan skrin biru, bulu mata tumbuh di kelopak mata, sehingga imej latar belakang seperti kelopak mata dan kelopak mata tidak boleh dipisahkan dan diganti untuk mengumpul berbilang sejajar dengan ketat Dan sangat sukar untuk menggunakan bulu mata warna yang berbeza.

④ Pengumpulan data bulu mata

Kami mengecat bulu mata Sapukan agen pendarfluor dan hidupkan denyar UVA untuk melihat kesan pendarfluor dan kemudian dapatkan hasil segmentasi bulu mata. Tetapi ini tidak mencukupi dan pemprosesan lanjut diperlukan.

⑤ Pengiraan topeng bulu mata

Kami menggunakan set data yang diperolehi pada langkah sebelumnya sebagai input, menggunakan Rangkaian tikar digunakan untuk meramal keputusan tikar sebenar. Tetapi jika kita hanya menggunakan set data asal, kesannya tidak begitu baik, dan kita tidak mempunyai kebenaran asas. Kami mereka bentuk kaedah sintesis maya Render EyelashNet untuk memanaskan dahulu, dan kemudian menggunakan keputusan percubaan untuk meramalkan hasil yang dianggarkan. Digabungkan dengan kerja manual, kami menapis hasil buruk tersebut dan akhirnya memperoleh set data dengan topeng awal. Kemudian anda boleh menggunakan set data ini untuk melatih dan mendapatkan hasil yang diperhalusi Hasil yang diperhalusi dimasukkan ke dalam set data dan kemudian dilatih Selepas lelaran, set data yang lebih baik akhirnya diperoleh.

5. >Kami membina sistem pengumpulan, termasuk 16 kamera, denyar UV 365nm, sistem lampu isian, dll. Sila rujuk tangkapan skrin untuk parameter tertentu.

② Pewarna bulu mata dan kedudukan mata

Kami menjemput ramai pelajar dari Universiti Zhejiang melukis bulu mata dengan agen pendarfluor Orang itu terpaksa berdiam diri, dan kemudian menggunakan laser untuk meletakkan mata.

Perbandingan hasil menghidupkan dan mematikan denyar UV:

③ Penjajaran Pembetulan

Sebaik-baiknya, tiada pengimbang antara dua imej perbandingan input, tetapi kelopak mata manusia boleh bergerak dengan mudah dan akan berlaku penyelewengan . , kami menggunakan FlowNet2 untuk mendapatkan medan aliran optik, menggunakan hasil medan aliran optik untuk mengimbangi bulu mata pendarfluor, dan kemudian mendapatkan gambar yang diselaraskan dengan ketat, dengan itu memperoleh hasil pembahagian.

6 Peringkat inferens

① Rangkaian GCA

Penerbitan yang kami gunakan terutamanya dalam Rangkaian GCA peringkat inferens di AAI 2020.

Input rangkaian GCA ialah imej RGB dan imej tiga titik, dan output ialah bulu mata topeng. Segmen kami sebelum ini Hasilnya boleh digunakan sebagai hasil rajah tiga bahagian awal, sekali gus menyelesaikan masalah kesukaran dalam membina gambar rajah bahagian ketiga bulu mata secara manual.

② Rangkaian inferens bertopeng

Berikut adalah tiga imej dibahagikan kepada imej topeng bulu mata dan imej RGB asal sebagai input Melalui latihan progresif, digabungkan dengan RenderEyelashNet, rangkaian prapemanasan dilatih untuk mendapatkan hasil topeng ini kemudiannya ditambahkan pada input sebagai set latihan dan ditapis secara manual . Dapatkan set data potongan bulu mata yang betul secara visual, supaya terdapat kedua-dua data maya dan sebenar. Gunakan set data ini untuk latihan dan inferens, dan akhirnya dapatkan versi ramalan topeng bulu mata. Kemudian masukkan ke dalam set latihan dan ulangi semula, biasanya anda boleh mencapai hasil yang diinginkan dalam dua kali.

③ Pemilihan manual

Menggunakan peralatan perkakasan dan perisian yang paling canggih tidak dapat menjamin ketepatan pengumpulan bulu mata Untuk memastikan ketepatan data latihan, kami mengeluarkan beberapa keputusan buruk melalui pemilihan manual.

④ Rangkaian Baseline

Selepas melatih rangkaian baseline , masukkan gambar untuk ujian dan dapatkan hasil yang lebih baik. Untuk imej yang tidak diketahui, kita tidak tahu apakah imej tiga dimensinya Jika kita memasukkan secara langsung imej skala kelabu, kita masih boleh mendapatkan hasil ramalan bulu mata yang baik.

7 Set data

① Set data latihan

Kami menangkap data bulu mata untuk 12 ekspresi mata dan 15 paparan.

② Set data ujian

Untuk mengesahkan Kaedah kami, semasa ujian, kami menggunakan bukan sahaja data yang kami kumpulkan sendiri, tetapi juga beberapa data imej di Internet.

Selepas dua lelaran progresif, keputusan yang kami perolehi sudah sangat baik dan hampir dengan nilai sebenar.

③ Perbandingan kaedah

Kami membandingkannya dengan kaedah terbaik pada masa ini, tanpa mengira Kedua-duanya secara visual dan kuantitatif, kaedah kami adalah jauh lebih baik daripada kaedah sebelumnya.

④ Eksperimen Ablasi

Kami juga melakukan Eksperimen ablasi untuk mengesahkan pelbagai bahagian pendekatan kami adalah amat diperlukan.

⑤ Paparan hasil

Kami menggunakan beberapa foto di Internet untuk pengesahan, foto ini ada di sana bukanlah Kebenaran Dasar. Tetapi untuk foto ini, kaedah kami masih boleh mengira hasil potongan bulu mata yang lebih baik.

⑥ Aplikasi

Kami bekerjasama dengan studio Tencent NEXT untuk menggunakan kaedah ini pada ketepatan tinggi Tiga- pembinaan semula muka dimensi, kawasan bulu mata telah sangat realistik.

Aplikasi lain ialah penyuntingan mencantikkan bulu mata. Sebaik sahaja anda mempunyai bulu mata, anda boleh menukar warnanya atau menjadikannya lebih panjang. Walau bagaimanapun, jika kaedah ini digunakan di tempat orang memakai cermin mata dan keamatan cahaya jelas, hasilnya akan menjadi berat sebelah.

8 Ringkasan

Kami mencadangkan EyelashNet, yang merupakan yang pertama. Set data potongan bulu mata berkualiti tinggi, termasuk 5400 data potongan bulu mata yang ditangkap berkualiti tinggi dan 5272 data potongan bulu mata maya.

Kami mencadangkan sistem pelabelan pendarfluor yang direka khas untuk menangkap imej dan topeng bulu mata berkualiti tinggi.

Kaedah kami mencapai prestasi terkini pada imej potongan bulu mata.

3. Animasi masa nyata pakaian longgar berdasarkan pembelajaran mendalam

Kerja ini adalah untuk mensimulasikan pakaian longgar . Kami bekerjasama dengan University of Maryland dan Tencent NEXT Studio, dan kertas kerja berkaitan diterbitkan pada Siggraph2022. Kerja ini mencadangkan kaedah ramalan masa nyata untuk pakaian longgar berdasarkan pembelajaran mendalam, yang boleh mengendalikan pergerakan berskala besar dengan baik dan menyokong parameter simulasi berubah-ubah.

1. Rangka Maya

Salah satu teknologi teras kerja ini ialah rangka maya, iaitu satu set kawalan menggunakan transformasi tegar dan simulasi hibrid linear kaedah Rangka simulasi untuk ubah bentuk pakaian. Menggunakan tulang maya, kita boleh mensimulasikan ubah bentuk kompleks pakaian longgar dengan cekap, dan tulang ini boleh digunakan sebagai input untuk membimbing penjanaan butiran pakaian.

2. Latar belakang kerja

Secara amnya terdapat dua cara untuk membuat Kaedah kelas, satu kaedah fizikal, yang secara komputasi mahal; kaedah yang didorong oleh data sebenar.

Dalam beberapa tahun kebelakangan ini, terdapat lebih banyak kaedah pembelajaran mesin dan pembelajaran mendalam, tetapi kaedah ini sama ada ramalan Ubah bentuk pakaian dalam keadaan statik, atau meramalkan ubah bentuk dinamik pakaian yang ketat. Tetapi sebenarnya, banyak pakaian seperti skirt longgar Walaupun beberapa kaedah boleh meramalkan ubah bentuk pakaian longgar, mereka tidak begitu baik untuk meramalkan ubah bentuk pergerakan besar. Selain itu, tiada kaedah semasa menyokong parameter berubah.

3 Sumbangan penyelidikan

Penyelidikan kami terutamanya mempunyai dua mata Sumbangan. , yang pertama ialah menggunakan kaedah pembelajaran mendalam untuk meramalkan ubah bentuk kompleks pakaian longgar Kami membuka ubah bentuk pakaian kepada dua bahagian-bahagian frekuensi rendah dan bahagian frekuensi tinggi. Gunakan tulang maya untuk mewakili ubah bentuk bahagian frekuensi rendah dan gunakannya untuk membuat kesimpulan bahagian frekuensi tinggi sumbangan kedua ialah menggunakan pergerakan badan yang digabungkan dengan parameter simulasi fizikal sebagai input, dan gunakan kaedah ini untuk mengendalikan heterogeniti; kedua-dua input.

4. Ringkasan penerangan

① Kaedah penjanaan rangka maya

Mula-mula gunakan kaedah simulasi untuk mendapatkan set latihan kebenaran tanah, lakukan pemprosesan pelicinan Laplacian pada set latihan ini untuk mendapatkan Mesh frekuensi rendah, dan kemudian lakukan pemprosesan Penguraian Kulit untuk mendapatkan Tulang dan berat maya.

② Rangkaian gerakan

Dapatkan urutan gerakan rangka maya melalui jujukan gerakan badan, ramalkan maklumat ubah bentuk frekuensi rendah melalui rangkaian gerakan, dan menggunakan frekuensi rendah Maklumat meramalkan maklumat frekuensi tinggi, dan akhirnya keputusan simulasi diperolehi (graf paling kanan).

③ Pembolehubah parameter simulasi

Kami ingin menilai pembolehubah parameter yang berbeza, melalui Rangkaian RBF meramalkan hasil parameter simulasi yang belum kita lihat, supaya satu set rangkaian boleh digunakan untuk membuat ramalan walaupun parameternya berbeza.

5. Kaedah

① Penyediaan data

Pertama sekali, kami perlu menjana data kebenaran tanah Kami menggunakan Houdini Vellum Solver untuk mensimulasikan kira-kira 40,000 bingkai animasi. Kami tidak menggunakan hasil tangkapan gerakan orang sebenar, tetapi tindakan video daripada Internet. Ini kerana kita ingin mensimulasikan pergerakan yang besar, tetapi pergerakan orang sebenar adalah lebih kecil.

②Penguraian Kulit

Jujukan ubah bentuk frekuensi rendah Kami menggunakan penguraian kulit untuk mendapatkan tulang maya, dan kita dapat Hasilnya ialah model berkulit hibrid linear yang merangkumi Pose Rehat dan berat kulit yang sepadan dengan setiap tulang. Terjemahan dan putaran rangka maya pada setiap bingkai juga diperolehi. Tulang maya tidak mempunyai hubungan hierarki, tidak ada hubungan antara tulang induk dan tulang anak, dan setiap tulang mempunyai putaran dan terjemahannya sendiri.

Selain itu, tulang maya tidak mempunyai makna realistik yang sebenar, dan tulang maya diperoleh untuk setiap animasi tertentu. Kami menggunakan Rangkaian Gerakan untuk memproses input badan Setiap rangkaian sepadan dengan parameter simulasi badan yang berbeza. .

③ Rangkaian Tindakan

Rangkaian tindakan membuat kesimpulan bahagian frekuensi rendah dan frekuensi tinggi dalam urutan.

• Modul frekuensi rendah

Bahagian frekuensi rendah menggunakan rangkaian saraf berulang GRU menukar pergerakan badan input kepada putaran dan terjemahan tulang maya Kelebihan menggunakan rangkaian saraf berulang ialah ia boleh mendapatkan maklumat daripada bingkai sebelumnya, yang boleh menangkap ubah bentuk frekuensi rendah dengan lebih baik kulit hibrid linear tulang maya.

• Modul frekuensi tinggi

Rangkaian tindakan boleh digunakan untuk meramal bahagian frekuensi tinggi Satu ialah GRU untuk mendapatkan ciri frekuensi tinggi, dan satu lagi ialah GNN untuk mendapatkan ciri bahagian frekuensi rendah maklumat frekuensi tinggi. Hasil frekuensi tinggi dan frekuensi rendah ditambah bersama untuk mendapatkan hasil akhir.

• Rangkaian Neural RBF

Untuk memproses input parameter simulasi fizikal, kami melatih banyak Rangkaian Gerakan dengan tindakan yang berbeza Keluaran tindakan yang sama sepadan dengan hasil simulasi parameter Kami menggunakan rangkaian saraf RBF untuk menambah hasil ini pekali bergantung pada parameter simulasi dan Sepadan dengan jarak parameter simulasi rangkaian, dan menggunakan perceptron berbilang lapisan untuk menayangkan parameter ke dalam ruang sebelum mengira jarak.

6 Keputusan

Dalam simulasi masa nyata, tanpa mengubah parameter simulasi, Pakaian longgar boleh disimulasikan dengan baik.

• Prestasi Keputusan

Hasil simulasi di sebelah kiri sangat hampir dengan kebenaran asas, dan sebelah kanan memperkatakan parameter berubah-ubah.

Soalan lain ialah cara memilih bilangan tulang maya. Percubaan kami mendapati bahawa untuk bahagian frekuensi rendah, nombor yang terlalu kecil tidak mempunyai kesan yang baik, dan terlalu banyak tidak banyak membantu 80 adalah hasil yang lebih baik. Tetapi untuk bahagian frekuensi tinggi, lebih banyak tulang maya lebih baik, supaya butiran dapat dinyatakan dengan lebih baik.

• Bilangan tulang maya

• Meningkatkan bahagian longgar

longgar merujuk kepada jarak antara pakaian dan tubuh manusia. lebih jauh, dan bahagian biru bermaksud bahagian yang lebih ketat, kita dapat melihat bahawa keputusan kita (paling kanan) adalah lebih baik.

Ini ialah carta perbandingan antara kes frekuensi rendah dan frekuensi tinggi dan kaedah kami lebih dekat dengan kebenaran tanah.

• Hasil perbandingan kualitatif

Perbandingan kaedah yang berbeza secara visual , walaupun kesan kami sedikit berbeza daripada kebenaran asas, ia adalah lebih baik tanpa mengira bahagian frekuensi tinggi atau rendah, ia agak rapat.

• Hasil perbandingan kuantitatif

Analisis kuantitatif juga dilakukan, seperti RMSE, STED dan penunjuk lain, dan keputusan menunjukkan bahawa ia adalah jauh lebih baik daripada kaedah sebelumnya, walaupun untuk pakaian yang ketat dan kaedah tradisional.

• Percubaan ablasi RBF

Kami menjalankan eksperimen ablasi melalui rangkaian RBF untuk mengesahkan kaedah kami.

7 Tinjauan dan ringkasan masa depan

Dalam satu langkah yang sangat besar. Dalam sesetengah kes, kaki dalam hasil simulasi mungkin melalui pakaian Ini kerana pengelakan perlanggaran ditambah melalui rangkaian tenaga lain juga boleh digunakan pada masa hadapan untuk mendapatkan hasil yang lebih baik.

Pembinaan semula muka berketepatan tinggi dan animasi adalah penting dalam banyak aplikasi, seperti permainan, manusia maya dan metaverse , Semuanya memerlukan pemprosesan masa nyata, yang juga merupakan cabaran besar. Selain itu, pakaian meliputi lebih daripada 80% tubuh manusia dan juga merupakan bahagian penting manusia digital. Dalam aplikasi grafik, kami mungkin memberi lebih perhatian kepada wajah pada jarak dekat, tetapi pada jarak yang lebih jauh, kami memberi lebih perhatian kepada pakaian. Saya fikir hala tuju pembangunan masa depan adalah menggunakan kaedah kos rendah untuk membina aplikasi manusia digital masa nyata yang sangat realistik.

4. kestabilan tulang maya Kebolehgeneralisasian?

A1: Tulang maya dikira untuk menukar set pakaian memerlukan penjanaan semula tulang baharu, dan bilangan serta transformasi juga berbeza. Ia dikira dalam masa nyata semasa inferens.

S2: Adakah mudah untuk membuat pakaian tiga dimensi?

A2: Ia masih sangat mudah Orang yang tidak pernah mempelajarinya sebelum ini boleh mempelajarinya dengan cepat selepas latihan. Walaupun anda mereka bentuk pakaian dari awal, anda mungkin boleh mereka bentuk pakaian yang sangat rumit dalam masa satu atau dua jam.

Atas ialah kandungan terperinci Teknologi utama untuk pemodelan dan animasi manusia digital. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!