Bolehkah penyelidikan AI juga belajar daripada Impresionisme? Orang yang seperti hidup ini sebenarnya adalah model 3D

Abad ke-19 ialah zaman pergerakan seni Impresionisme popular dalam bidang seni lukis, seni ukir, seni cetak dan lain-lain. Impresionisme dicirikan oleh penggunaan sapuan berus staccato yang pendek dengan sedikit mengejar ketepatan formal, yang kemudiannya berkembang menjadi gaya seni Impresionis. Ringkasnya, sapuan berus artis impresionis tidak diubah suai, menunjukkan ciri-ciri yang jelas, tidak mengejar ketepatan formal, malah agak kabur. Artis impresionis memperkenalkan konsep saintifik cahaya dan warna ke dalam lukisan dan merevolusikan konsep warna tradisional.

Dalam D3GA, penulis mempunyai matlamat yang unik Dia berharap untuk mencipta kesan prestasi foto-realistik dengan melakukan sebaliknya. Untuk mencapai matlamat ini, penulis secara kreatif menggunakan teknologi percikan Gaussian dalam D3GA sebagai "strok berus segmen" moden untuk membina struktur dan penampilan watak maya dan mencapai Kesan masa nyata dan stabil.

"Sunrise·Impression" ialah karya perwakilan pelukis Impresionis terkenal Monet.

Untuk mencipta imej manusia yang realistik yang boleh menjana kandungan baharu untuk animasi, pembinaan avatar pada masa ini memerlukan sejumlah besar data berbilang paparan. Ini kerana kaedah monokular mempunyai ketepatan yang terhad. Selain itu, teknik sedia ada memerlukan pra-pemprosesan yang kompleks, termasuk pendaftaran 3D yang tepat. Walau bagaimanapun, mendapatkan data pendaftaran ini memerlukan lelaran dan sukar untuk disepadukan ke dalam proses hujung ke hujung. Selain itu, terdapat kaedah yang tidak memerlukan pendaftaran yang tepat dan berdasarkan medan sinaran saraf (NeRF). Walau bagaimanapun, kaedah ini selalunya lambat pada pemaparan masa nyata atau menghadapi kesukaran dengan animasi pakaian.

Kerbl et al mencadangkan kaedah pemaparan yang dipanggil 3D Gaussian Splatting (3DGS), yang dipertingkatkan berdasarkan kaedah pemaparan Percikan Permukaan klasik. Berbanding dengan kaedah terkini berdasarkan medan sinaran saraf, 3DGS mampu menghasilkan imej berkualiti tinggi pada kadar bingkai yang lebih pantas dan tanpa memerlukan pemulaan 3D yang sangat tepat.

Walau bagaimanapun, 3DGS pada asalnya direka untuk adegan statik. Pada masa ini, sesetengah orang telah mencadangkan kaedah Gaussian Splating berdasarkan keadaan masa, yang boleh digunakan untuk menghasilkan adegan dinamik. Kaedah ini hanya boleh memainkan semula apa yang telah diperhatikan sebelum ini dan oleh itu tidak sesuai untuk menyatakan gerakan baru atau tidak kelihatan sebelum ini.

Berdasarkan medan sinaran saraf yang dipacu, pengarang memodelkan rupa dan ubah bentuk manusia 3D, meletakkan mereka dalam ruang yang dinormalkan, tetapi menggunakan Gaussians 3D dan bukannya medan sinaran. Selain prestasi yang lebih baik, Gaussian Splatting menghapuskan keperluan untuk menggunakan heuristik pensampelan sinar kamera.

Masalah selebihnya adalah untuk menentukan isyarat yang mencetuskan ubah bentuk sangkar ini. Teknologi terkini dalam avatar berasaskan pemacu memerlukan isyarat input padat, seperti imej RGB-D atau malah berbilang kamera, tetapi kaedah ini mungkin tidak sesuai untuk situasi di mana jalur lebar penghantaran agak rendah. Dalam kajian ini, penulis menggunakan input yang lebih padat berdasarkan pose manusia, termasuk sudut sendi rangka dan titik kunci muka 3D dalam bentuk kuaternion.

Dengan melatih model khusus individu pada sembilan jujukan berbilang paparan berkualiti tinggi yang meliputi pelbagai bentuk badan, pergerakan dan pakaian (tidak terhad kepada pakaian intim), kami kemudiannya boleh mencipta pose baharu untuk mana-mana subjek.

Gambaran keseluruhan kaedah

• Pautan kertas: https://arxiv.org/pdf/2311.08581.pdf
• Pautan projek: https://zielon.github.io/d3ga/

Pautan projek: https://zielon.github.io/d3ga/

Current digunakan untuk mengevolumetrikkan aksara maya secara dinamik sama ada memetakan titik dari ruang ubah bentuk kepada ruang kanonik atau bergantung semata-mata pada pemetaan hadapan. Kaedah berdasarkan pemetaan belakang cenderung untuk mengumpul ralat dalam ruang kanonik kerana ia memerlukan hantaran belakang yang terdedah kepada ralat dan bermasalah dalam memodelkan kesan bergantung kepada perspektif.

Oleh itu, penulis memutuskan untuk menggunakan kaedah pemetaan hadapan sahaja. D3GA adalah berdasarkan 3DGS dan dilanjutkan melalui perwakilan saraf dan sangkar untuk memodelkan warna dan bentuk geometri setiap bahagian dinamik watak maya masing-masing.

D3GA menggunakan pose 3D ϕ, benam muka κ, sudut pandangan dk dan sangkar kanonik v (dan ciri warna dinyahkod secara automatik hi) untuk menjana pemaparan akhir C¯ dan pemaparan pensegmenan tambahan P¯. Input di sebelah kiri diproses melalui tiga rangkaian (ΨMLP, ΠMLP, ΓMLP) setiap bahagian aksara maya untuk menjana anjakan sangkar Δv, ubah bentuk Gaussian bi, qi, si, dan warna/ketelusan ci, oi.

Selepas ubah bentuk sangkar mengubah bentuk Gaussian kanonik, mereka dirasterkan ke dalam imej akhir melalui Persamaan 9.

Hasil eksperimen

D3GA dinilai berdasarkan metrik seperti SSIM, PSNR dan LPIPS metrik persepsi. Jadual 1 menunjukkan bahawa D3GA mempunyai prestasi terbaik dalam PSNR dan SSIM antara kaedah yang hanya menggunakan LBS (iaitu, tidak perlu mengimbas data 3D untuk setiap bingkai), dan mengatasi semua kaedah FFD dalam penunjuk ini, kedua selepas BD. FFD, walaupun isyarat latihannya lemah dan tiada imej ujian (DVA telah diuji menggunakan kesemua 200 kamera).

Perbandingan kualitatif menunjukkan bahawa D3GA boleh memodelkan pakaian dengan lebih baik daripada kaedah terkini yang lain, terutamanya pakaian longgar seperti skirt atau seluar peluh (Rajah 4). FFD adalah singkatan kepada Free Deformation Mesh, yang mengandungi isyarat latihan yang lebih kaya daripada jejaring LBS (Rajah 9).

Berbanding dengan kaedah berasaskan volumnya, kaedah pengarang boleh memisahkan pakaian watak maya, dan pakaian itu juga boleh dipandu. Rajah 5 menunjukkan bagaimana setiap lapisan pakaian individu boleh dikawal oleh sudut sendi tulang sahaja, tanpa memerlukan modul pendaftaran pakaian tertentu.

🎜🎜🎜🎜🎜

Atas ialah kandungan terperinci Bolehkah penyelidikan AI juga belajar daripada Impresionisme? Orang yang seperti hidup ini sebenarnya adalah model 3D. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!