Rumah > Artikel > Peranti teknologi > Sebuah syarikat permulaan yang berpangkalan di Tsinghua mengeluarkan rangka kerja animasi rangka 4D pertama di dunia, yang membolehkan penukaran satu klik adegan sebenar kepada animasi dan keupayaan untuk menjana watak yang diperibadikan.
Apple baru-baru ini mengumumkan bahawa ia akan melancarkan peranti paparan terpasang kepala maya pertamanya, Vision Pro, pada 2 Februari. Peranti XR ini dijangka menerajui pembangunan pesat terminal generasi akan datang. Dengan mempopularkan peranti paparan maya, interaksi digital akan beralih daripada dua dimensi kepada tiga dimensi, dan model tiga dimensi dan animasi tiga dimensi akan menjadi bentuk kandungan arus perdana pada masa hadapan. Interaksi imersif berbilang dimensi juga akan menjadi trend di bawah aliran integrasi maya dan sebenar.
Namun, dari segi skala data, pengumpulan data semasa dalam industri kandungan masih didominasi oleh imej 2D dan video rata, manakala asas data model 3D, animasi 4D dan data lain agak lemah. Antaranya, animasi 4D memperkenalkan urutan masa berdasarkan model 3D tradisional, iaitu model 3D yang berubah mengikut masa, yang boleh mempersembahkan kesan tiga dimensi dinamik Ia digunakan secara meluas dalam animasi permainan, kesan khas filem, realiti maya dan bidang lain, tetapi ia juga pada masa ini Pautan paling sukar dalam pembangunan ekologi kandungan.
Oleh itu, untuk pengalaman mendalam berbilang dimensi yang akan datang, membina kandungan digital tiga dimensi akan menjadi kerja asas yang penting.
Menghadapi bidang yang canggih ini, pasukan keusahawanan yang berpangkalan di Tsinghua Shengshu Technology telah menjalankan beberapa siri penyelidikan dan pembangunan produk, dan baru-baru ini melancarkan rangka kerja penjanaan animasi 4D pertama di dunia "AnimatableDreamer" berdasarkan "animasi rangka" bersama-sama dengan Universiti Tsinghua, Universiti Tongji dan universiti lain , ia boleh menukar terus bahan video 2D kepada model tiga dimensi dinamik (iaitu animasi 4D) dengan satu klik, menyokong pengekstrakan automatik pergerakan rangka, penukaran satu klik kesan animasi dan. penjanaan watak diperibadikan melalui input teks.
Alamat kertas: https://arxiv.org/pdf/2312.03795.pdf
Alamat projek: https://animatabledreamer.github.io/
Tajuk Text
-Penjanaan dan Pembinaan Semula Model 3D Tidak Tegar dengan Penyulingan Skor KanonikKaedah pengeluaran kandungan baharu
Subversi proses pembangunan animasi tiga dimensi
Pada masa lalu, penghasilan animasi tiga dimensi dalam industri memerlukan proses yang kompleks seperti pemodelan 3D, tekstur , pengikatan tulang, pengeluaran animasi, dsb. Pemodelan diperlukan Ia hanya boleh dilengkapkan dengan penyertaan profesional seperti pereka bentuk dan animator, yang mempunyai kecekapan rendah dan kos tinggi. Mengikut statistik, kitaran pengeluaran model 3D statik tunggal adalah dari jam ke hari, dan kosnya boleh setinggi beribu-ribu dolar Kos pemprosesan dinamik akan menjadi lebih tinggi. Seperti yang anda boleh lihat daripada video demo rasmi, muat naik video 2D kehidupan sebenar tupai dan dengan memasukkan penerangan teks "Tupai dengan baju sejuk merah", tupai kehidupan sebenar yang asli boleh ditukar menjadi animasi gaya dengan satu klik , dan mengekalkan postur tindakan dengan sempurna juga boleh menghasilkan model dinamik tiga dimensi dari perspektif 360 darjah Dengan menukar perihalan teks, anda boleh menyesuaikan watak dan menukar tupai kepada imej kartun yang berbeza musang dan Squirtle. "AnimableDreamer" boleh mengekstrak pergerakan rangka objek sasaran (manusia, haiwan, dll.) secara automatik dalam video, dan kemudian menukar objek itu kepada mana-mana model animasi rangka melalui penerangan teks. Keseluruhan proses tidak dihadkan oleh templat, menyokong sebarang panjang video dan sebarang jenis tindakan, mempunyai tahap ketekalan temporal yang tinggi dan ketekalan berbilang paparan, dan model tiga dimensi dinamik yang dieksport boleh dipaparkan dalam mana-mana persekitaran 3D. Untuk pasca produksi dalam filem, televisyen, animasi dan bidang lain, lebih banyak penyuntingan biasanya diperlukan untuk animasi "AnimableDreamer" juga menyokong penggantian atau penyuntingan fail animasi untuk model yang telah melengkapkan pengikatan tulang, mencapai tahap kebebasan yang lebih tinggi. . Apabila teknologi berkaitan dilaksanakan secara beransur-ansur pada masa hadapan, pemodelan 3D dan proses pengeluaran animasi untuk pembangunan permainan, animasi filem dan televisyen serta adegan lain dijangka menjadi lebih cekap.Menghadapi masa depan
dijangka membentuk ekosistem kandungan baharu
Dari segi prinsip pelaksanaan, pasukan penyelidik secara inovatif mencadangkan Canonic Score Distillation (CSD)
3, yang berubah mengikut masa yang berbeza. bingkai dan perspektif yang berbeza diberikan dan dinafikan dalam ruang kamera, dan kecerunan dihantar semula secara seragam ke ruang standard yang dikongsi oleh ruang kamera yang berbeza untuk penyulingan, mengurangkan dimensi penjanaan 4D kepada 3D, iaitu, memudahkan masalah penjanaan 4D kepada Penjanaan dalam ruang 3D. 🎜Dalam adegan dengan sudut tontonan terhad dan pergerakan besar, disebabkan pengenalan pengetahuan terdahulu tentang model Diffusion, walaupun video input tidak meliputi objek lengkap, "AnimableDreamer" boleh melengkapkan maklumat gambar secara automatik dan mencapai kualiti penjanaan yang lebih baik.
Boleh dikatakan bahawa cadangan "AnimableDreamer" secara langsung menghubungkan teks kepada penjanaan animasi rangka 4D, pemodelan, penteksuran, pengikatan tulang, dan pemanduan aksi sekali gus! Masukkan perihalan bahasa semula jadi dan keluarkan video animasi tiga dimensi secara automatik Tiada pengetahuan profesional diperlukan untuk memulakan dan menyesuaikan kandungan animasi dengan mudah.
Kerja berdasarkan "AnimableDreamer" akan mengurangkan kesukaran menghasilkan kandungan digital 3D dan 4D, memperkayakan pengalaman interaktif, membolehkan semua orang menjana dan mengedit kandungan kreatif, dan akan melahirkan kandungan baharu dalam era 3D Hiburan dan kandungan corak penggunaan. Bayangkan di dunia maya akan datang, pengguna boleh membina ruang digital tersuai dengan cepat dan mencipta pengalaman interaktif yang diperibadikan. Contohnya:Atas ialah kandungan terperinci Sebuah syarikat permulaan yang berpangkalan di Tsinghua mengeluarkan rangka kerja animasi rangka 4D pertama di dunia, yang membolehkan penukaran satu klik adegan sebenar kepada animasi dan keupayaan untuk menjana watak yang diperibadikan.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!