Dapatkan isteri 3D maya dalam masa 30 saat dengan satu kad! Teks kepada 3D menjana manusia digital berketepatan tinggi dengan butiran liang yang jelas, menyambung dengan lancar dengan Maya, Unity dan alat pengeluaran lain

ChatGPT telah menyuntik satu dos darah ayam ke dalam industri AI Semua yang dahulunya tidak dapat dibayangkan telah menjadi amalan asas hari ini.

terus maju Teks-ke-3D, yang dianggap sebagai pengganti Penyebaran(imej) dan GPT(teks) .

Tidak, produk yang dipanggil ChatAvatar telah dimasukkan ke dalam beta awam sederhana Ia dengan cepat menarik lebih daripada 700,000 tontonan dan perhatian, dan telah disenaraikan di Mingguan Wajah Panas (Spaces of the week) <.>.

△ChatAvatar juga akan menyokong teknologi Image to 3D untuk menjana aksara bergaya 3D daripada lukisan asal perspektif tunggal/berbilang perspektif yang dijana oleh AI, yang telah diterima secara meluas Beri perhatian kepada

Model 3D yang dijana oleh versi beta semasa boleh dimuat turun terus ke tempatan bersama-sama dengan bahan PBR. Ia bukan sahaja berfungsi dengan baik, tetapi yang lebih penting, ia

percuma untuk dimainkan. Beberapa netizen berseru:

Ia sangat keren, saya rasa saya boleh menjana kembar digital saya sendiri dengan mudah.

Ini telah menarik ramai netizen untuk mencubanya dan menyumbang idea mereka. Sesetengah orang menggabungkan produk ini dengan ControlNet dan mendapati bahawa kesannya sangat halus dan realistik sehingga ia tidak dijangka.

Alat Text-to-3D dengan ambang hampir sifar untuk digunakan ini dipanggil

ChatAvatar, dan dicipta oleh pasukan Teknologi Yingmo Technology yang baru permulaan AI.

Difahamkan bahawa ini adalah produk Teks Sedia Pengeluaran kepada 3D pertama di dunia Melalui teks mudah, seperti nama bintang atau penampilan watak yang diingini, ia boleh menjana filem dan peringkat televisyen imej aset manusia digital hiper-realistik 3D.

Kecekapan juga sangat tinggi. Ia hanya mengambil masa purata 30 saat untuk membuat wajah yang kelihatan nyata - walaupun anda sendiri.

Pada masa hadapan, bidang penjanaan juga akan diperluaskan kepada aset tiga dimensi yang lain.

Dan model ini mempunyai topologi biasa, bahan PBR dengan resolusi 4k, dan mengikat, yang boleh disambungkan terus ke saluran paip pengeluaran enjin pengeluaran seperti Unity, Unreal Engine dan Maya.

Jadi, apakah jenis alat penjanaan 3D ChatAvatar? Apakah teknologi yang digunakan di belakangnya?

Selesaikan "lukisan" dalam masa 30 saat

Alami permainan ChatAvatar secara peribadi dan ketahui bahawa ia boleh dikatakan sebagai ambang sifar.

Secara khusus, anda hanya perlu menerangkan keperluan anda kepada ChatBot dalam bahasa vernakular

dalam bentuk perbualan di laman web rasmi, dan wajah 3D boleh dijana atas permintaan dan ditutup dengan pelekat "kulit manusia" sebenar model.

Semasa keseluruhan proses perbualan, berdasarkan keperluan pengguna, ChatBot akan

membimbing untuk memahami pemikiran pengguna tentang model yang diperlukan dengan seberapa terperinci yang mungkin.

Sepanjang pengalaman, kami menerangkan kepada ChatBot imej 3D yang ingin kami hasilkan:

Klik kiri Klik butang Jana di sisi, dan dalam masa kurang daripada 10 saat secara purata, prototaip awal 9 muka 3D berbeza yang dijana mengikut penerangan akan muncul pada skrin.

Selepas memilih salah satu daripadanya sesuka hati, model dan bahan akan terus dioptimumkan berdasarkan pemilihan Akhirnya, hasil pemaparan model selepas menutup kulit akan muncul, dan kesan pemaparan di bawah cahaya dan bayangan yang berbeza akan dipaparkan - pemaparan ini selesai dalam masa nyata dalam penyemak imbas :

Seret dengan tetikus untuk memutarkan kepala dan zum masuk untuk melihat kesan setempat yang lebih terperinci dan jerawat jelas kelihatan:

Perlu dinyatakan bahawa jika pengguna adalah pakar kejuruteraan segera, dia juga boleh melengkapkan penjanaan dengan terus memasukkan gesaan dalam kotak kiri.

Akhir sekali, dengan satu klik muat turun, anda boleh mendapatkan aset kepala digital 3D yang boleh disambungkan terus ke enjin pengeluaran dan didorong:

Walaupun ia ialah versi beta Fungsi gaya rambut belum lagi dilancarkan, tetapi secara keseluruhan, aset manusia digital 3D yang dijana akhir dan kandungan perihalan mempunyai tahap padanan yang tinggi.

Laman web rasmi juga memaparkan banyak aset yang dijana oleh pengguna ChatAvatar, dengan bangsa yang berbeza, warna kulit yang berbeza, umur yang berbeza, gembira, marah, sedih, cantik, hodoh, gemuk dan kurus, dan semua jenis rupa.

Mari ringkaskan sorotan produk ChatAvatar untuk menjana aset manusia digital 3D:

Pertama sekali, ianya mudah digunakan; kedua, Jangka penjanaan adalah besar, dan ciri muka boleh diubah , dan topeng, tatu, dan lain-lain yang sesuai dengan muka juga boleh dihasilkan, seperti ini:

Menurut rasmi Menurut video promosi tersebut, ChatAvatar malah boleh menjana watak di luar skop manusia, seperti watak dalam filem dan karya televisyen seperti Avatar:

Paling penting, ChatAvatarMenyelesaikan isu keserasian antara model 3D dan perisian pemaparan tradisional.

Ini bermakna bahawa aset 3D yang dijana oleh ChatAvatar boleh disepadukan terus ke dalam permainan dan proses pengeluaran filem dan televisyen.

Sudah tentu, sebelum disambungkan secara rasmi kepada proses perindustrian, ChatAvatar telah menarik ribuan artis dan kakitangan seni profesional untuk mengambil bahagian dalam pusingan pertama beta awam, dan topik berkaitan di Twitter telah menerima hampir satu juta tontonan dan perhatian.

Sebarang tweet boleh mempunyai lebih 50k tontonan.

Bukan sia-sia saya telah mengumpul banyak “air paip”. ?

Jika digabungkan dengan ControlNet, kesan yang dihasilkan adalah tidak kurang daripada foto SLR yang diambil secara terus:

Sudah ramai pengguna Selepas mengalaminya, saya mula membayangkan mengaplikasikan alat Text-to-3D ini secara besar-besaran kepada aplikasi industri seperti permainan, filem dan televisyen.

Adalah difahamkan bahawa maklum balas pengguna akan menjadi asas penting untuk pasukan ChatAvatar untuk melelang dan mengemas kini dengan cepat, membentuk roda tenaga data untuk menyediakan fungsi yang lebih lengkap dan berasaskan permintaan tepat pada masanya.

Malah, bagi pereka atau syarikat industri 3D terdahulu, kebanyakan aplikasi teks-ke-3D AI bukanlah tidak berkesan, tetapi masih sukar untuk melaksanakannya dalam proses reka bentuk industri.

Apakah sebab teknikal di sebalik ChatAvatar dapat membuat penampilan sedemikian kali ini?

Apakah kesukaran untuk menjana aset 3D yang memenuhi keperluan industri?

Dikatakan AI akan menggantikan manusia Sebenarnya bukan semudah itu untuk diganti hanya dalam bidang Text-to-3D.

Kesukaran terbesar adalah untuk menjadikan perkara yang dijana oleh AI memenuhi keperluan industri untuk aset 3D daripada standard.

Bagaimana anda memahami Piawaian Industri di sini? Dari perspektif reka bentuk seni 3D profesional, terdapat sekurang-kurangnya tiga aspek -

Kualiti, kebolehkawalan dan kelajuan penjanaan.

Perkara pertama ialah kualiti. Terutama untuk industri filem, televisyen dan permainan yang menekankan kesan visual, untuk menjana aset 3D yang memenuhi keperluan saluran paip, "peraturan tidak terucap industri" seperti ketetapan topologi dan ketepatan pemetaan tekstur ialah langkah pertama yang mesti diambil untuk produk AI. Hom.

Ambil ketetapan struktur topologi sebagai contoh, yang pada asasnya merujuk kepada kewajaran penghalaan aset 3D.

Untuk aset 3D, keteraturan topologi selalunya secara langsung mempengaruhi kesan animasi, kecekapan pemprosesan pengubahsuaian dan kelajuan lukisan tekstur objek:

Menurut pengenalan reka bentuk seni 3D dalam industri , retopologi manual Kos masa selalunya lebih tinggi daripada pengeluaran model 3D itu sendiri, walaupun dalam gandaan. Ini bermakna tidak kira betapa hebatnya aset 3D yang dijana oleh model AI, jika keteraturan topologi yang dijana tidak memenuhi keperluan, kos tidak boleh dikurangkan secara asas. Belum lagi ketepatan tekstur.

△Projek ChatAvatar Yingmo Technology telah meningkat dengan ketara berbanding kerja sebelumnya dari segi kualiti penjanaan, kelajuan dan keserasian standard

Ambil Tekstur PBR, yang pada masa ini biasanya diperlukan oleh industri permainan dan filem dan televisyen, sebagai contoh, ia termasuk satu siri tekstur seperti peta pemantulan dan peta biasa, yang bersamaan dengan "lapisan" fail JPA imej 2D dan adalah. penting untuk pengeluaran saluran paip aset 3D Salah satu daripada beberapa syarat.

Walau bagaimanapun, aset 3D semasa yang dijana oleh AI selalunya adalah "keseluruhan", dan jarang sekali dapat menjana tekstur PBR secara bebas yang memenuhi persekitaran industri seperti yang diperlukan.

Yang kedua ialah kebolehkawalan Untuk AI generatif, cara menjadikan kandungan yang dihasilkan lebih "terkawal" adalah satu lagi keperluan utama yang dikemukakan oleh industri CG untuk teknologi ini.

Ambil industri 2D yang terkenal sebagai contoh Sebelum kemunculan ControlNet, industri 2D AIGC telah berada dalam keadaan "kemajuan separuh gelap".

Dengan kata lain, AI boleh menjana imej objek kategori tertentu, tetapi tidak boleh menjana objek postur tertentu Kesan penjanaan bergantung sepenuhnya pada kejuruteraan segera dan "metafizik."

Selepas kemunculan ControlNet, kebolehkawalan penjanaan imej AI 2D telah dipertingkatkan dengan pesat Namun, untuk AI 3D, untuk menjana aset dengan kesan yang sepadan, ia masih perlu bergantung sepenuhnya pada profesional. Berfungsi segera.

Yang terakhir ialah kelajuan penjanaan. Berbanding dengan reka bentuk seni 3D, kelebihan penjanaan AI adalah kepantasan Walau bagaimanapun, jika kelajuan dan kesan pemaparan AI tidak dapat menandingi pemaparan manual, maka teknologi ini masih tidak dapat membawa manfaat kepada industri.

Ambil NeRF, yang kini sangat popular dalam teknologi AI, sebagai contoh Pengindustriannya berhadapan dengan masalah keserasian kelajuan dan kualiti.

Apabila kualiti penjanaan adalah tinggi, penjanaan 3D berdasarkan NeRF selalunya mengambil masa yang lama namun, jika kelajuan diteruskan, malah aset 3D yang dijana oleh NeRF tidak akan digunakan sama sekali.

Tetapi walaupun masalah ini diselesaikan, cara menjadikan NeRF serasi dengan enjin arus perdana dalam industri CG tradisional tanpa kehilangan ketepatan masih menjadi masalah besar.

Tidak sukar untuk mencari daripada proses penyeragaman industri di atas bahawa terdapat dua kesesakan utama dalam pelaksanaan kebanyakan teks AI kepada aplikasi 3D:

Salah satunya ialah projek segera perlu disiapkan secara manual, yang tidak cukup mesra untuk profesional bukan AI atau pereka yang tidak memahami AI; yang lain ialah aset 3D yang dijana selalunya tidak memenuhi piawaian industri dan tidak boleh digunakan walaupun ia kelihatan bagus.

Sebagai tindak balas kepada dua perkara ini, ChatAvatar telah memberikan dua penyelesaian khusus dan berkesan.

Di satu pihak, ChatAvatar merealisasikan laluan kedua selain kejuruteraan gesaan input manual, dan juga merupakan jalan pintas yang lebih sesuai untuk orang biasa: menerangkan keperluan secara terus melalui "mod Parti A".

Twitter rasmi pasukan berkata bahawa untuk merealisasikan ciri ini, ChatAvatar telah membangunkan kaedah menukar penerangan perbualan kepada ciri potret berdasarkan keupayaan GPT.

Pereka bentuk hanya perlu terus bersembang dengan GPT dan menerangkan "perasaan" yang mereka inginkan:

GPT boleh membantu menyelesaikan projek segera dan menukar hasilnya secara automatik Dihantar kepada AI:

Dengan kata lain, jika ControlNet ialah "Game Changer" untuk industri 2D, maka untuk industri 3D, ChatAvatar boleh menukar teks kepada 3D , adalah tidak kurang daripada pengubah permainan untuk industri.

Sebaliknya, apa yang lebih penting ialah ChatAvatar sangat serasi dengan saluran paip CG, iaitu, aset yang dijana memenuhi keperluan industri dari segi topologi, kebolehkawalan dan kelajuan.

Ini bukan sahaja bermakna selepas menjana aset 3D, kandungan yang dimuat turun boleh terus diimport ke dalam pelbagai perisian pasca pengeluaran untuk pengeditan sekunder, dengan kebolehkawalan yang lebih baik

Pada masa yang sama , Model yang dijana dan peta bahan berketepatan tinggi juga boleh mencapai kesan pemaparan yang sangat realistik dalam pemaparan kemudian.

Untuk mencapai kesan sedemikian, pasukan membangunkan DreamFace, rangka kerja penjanaan 3D yang progresif untuk ChatAvatar.

Kuncinya terletak pada data asas yang digunakan untuk melatih model, yang merupakan set data ketepatan tinggi muka bervolume besar, berketepatan tinggi, berbilang ekspresi yang pertama di dunia .

Berdasarkan set data ini, DreamFace boleh melengkapkan penjanaan

aset 3D peringkat produk dengan cekap, iaitu aset yang dijana mempunyai topologi, bahan dan pengikatan tetap.

DreamFace terutamanya merangkumi tiga modul: penjanaan geometri, penyebaran bahan berasaskan fizik dan penjanaan keupayaan animasi.

Dengan memperkenalkan pangkalan data 3D luaran, DreamFace boleh terus mengeluarkan aset yang mematuhi proses CG.

△Kesan pemaparan didorong aset yang dijana

Intipati menyelesaikan dua teknikal di atas kesesakan Aliran masa telah dipercepatkan lagi oleh torrent AIGC, dan "generasi" akan menggantikan "pencarian" -

Pasukan Yingmo percaya bahawa "generasi" akan menjadi cara untuk mendapatkan generasi baharu digital aset.

Sebelum ini, apabila kami perlu mencari gambar atau aset yang memenuhi keperluan kami, kami biasanya menggunakan enjin carian untuk membuat pertanyaan.

"Kotak carian" besar dan kad aset kemas yang dipaparkan pada halaman utama projek ChatAvatar kelihatan seperti enjin carian, tetapi sebenarnya ia adalah cara yang berbeza sama sekali untuk mencari aset daripada carian.

△Laman utama projek ChatAvatar

CTO Teknologi Yingmu Zhang Qixuan memperkenalkan ini:

Pada masa lalu, jika kita memerlukan ilustrasi, mungkin Anda perlu mencari berulang kali dalam berbilang perpustakaan, atau menggunakan kaedah yang lebih rumit seperti sintesis Photoshop dan lukisan tangan untuk mendapatkan hasilnya. Tetapi selepas kemunculan teknologi seperti Stable Diffusion, anda hanya perlu menerangkan imej yang dikehendaki melalui teks, dan anda boleh terus menjana hasil yang memenuhi keperluan anda.

Ini adalah impak yang besar pada perpustakaan aset tradisional. Matlamat ChatAvatar adalah untuk menggantikan perpustakaan aset 3D berasaskan carian tradisional dengan penjanaan 3D.

Tempat termaju seterusnya dalam bidang AIGC

ChatGPT telah mencetuskan gelombang dengan satu batu Selepas memasuki era AI 2.0, perhatian orang juga telah beralih kepada pelbagai. maklumat modal termasuk imej, video, 3D dan maklumat lain.

Mengenai bidang penjanaan 3D, sama ada industri filem, televisyen atau permainan, pasaran pengeluaran dan penggunaan kandungan 3D sudah cukup besar, tetapi pada peringkat pengeluaran ia dihalang oleh teknikal kesukaran.

Sebagai contoh, Transformer yang sangat popular dalam bidang teks mempunyai penggunaan yang agak terhad dalam bidang penjanaan 3D.

Musim panas lalu, apabila medan

penjanaan teks 3D mencapai kejayaan kerana Model Penyebaran, orang ramai mula menjangkakan Penjanaan Teks 3D mempunyai prestasi menakjubkan yang sama. Setelah teknologi penciptaan 3D AI generatif matang, penciptaan kandungan seperti VR dan video akan bermula.

△ "Van Gogh Wind Photography" yang dihasilkan oleh model penyebaran Midjourney5.1

Malah, Kedua-dua gergasi teknologi dan syarikat permulaan sememangnya bekerja secara rahsia ke arah Text-to-3D.

Pada September tahun lepas, Google mengeluarkan FreamFusion, yang menjana model 3D berdasarkan gesaan teks, mendakwa bahawa ia tidak memerlukan data latihan 3D atau mengubah suai model penyebaran imej. Mengikuti rapat, Meta turut melancarkan model Make-A-Video yang boleh menjana video daripada teks dengan satu klik.

Dalam pasukan model AI Text-to-3D berikutnya, NVIDIA Magic3D, projek sumber terbuka terbaru OpenAI Shap-E, dsb. telah muncul berturut-turut, yang akan dipaparkan pada persidangan grafik komputer teratas SIGGRAPH 2023 untuk menjadi diadakan pada bulan Ogos tahun ini. Terdapat juga banyak kertas kerja berkaitan Text-to-3D.

Kertas kerja Yingmo Technology tentang DreamFace, rangka kerja penjanaan 3D progresif berpandukan teks, adalah salah satu daripadanya.

ChatAvatar juga merupakan produk model paling generatif yang memfokuskan pada aset manusia digital 3D setakat ini.

Syarikat permulaan AI di belakangnya, Teknologi Shadow Eye , telah diinkubasi dari Makmal MARS Universiti Sains dan Teknologi Shanghai pada 2020. Selepas penubuhannya, ia menerima dua pusingan pelaburan daripada Qiji Chuangtan dan Sequoia Seeds.

Syarikat menumpukan pada penyelidikan dan pengeluaran grafik komputer dan AI generatif. Pada tahun 2021, sebelum AIGC membuat gelombang besar, syarikat itu telah pun melancarkan Wand, aplikasi lukisan ToC AIGC pertama di China, dan produk itu pernah mendahului senarai partition AppStore.

Dan pasukan yang berpandangan ke hadapan ini, yang sudah terkenal dalam industri, umur purata hanya 25 tahun.

Selepas secara khusus menambat senario pengkomersilan pertama pada manusia digital, ChatAvatar ialah kemajuan terbaru mereka ke arah ini dengan memanfaatkan AIGC.

Sebagai produk yang baru dilancarkan, ChatAvatar telah melebihi jangkaan pasukan Shadow Eye dari segi kesan produk seperti keserasian, penyiapan dan ketepatan. Walau bagaimanapun, dalam kata-kata Wu Di, proses untuk sampai ke sini adalah "sangat memalukan."

Sebab utamanya tidak lebih daripada "kekurangan orang". Pada masa ini, Shadow Eye telah mencapai kemajuan dalam teknologi penjanaan 3D berbilang kategori, dan langkah seterusnya ialah melancarkan "model besar janaan 3D".

△Yingmo Technology akan melancarkan model multi-modal pertamanya pada bulan Mei. enjin carian 3D merentas platform Rodin menghubungkan berbilang platform aset 3D seperti Sketchfab dan menyokong pencarian 3D melalui teks, 3D melalui gambar dan juga 3D hingga 3D. Enjin carian hanyalah bentuk utama Rodin, dan Shadow Eye akan membina Rodin menjadi model janaan 3D yang besar.

Untuk terus maju, lebih banyak pasukan kejuruteraan, artis teknikal dan bakat produk yang menerima AI generatif diperlukan untuk menyertai pasukan. Sebagai sebuah pasukan dengan latar belakang R&D, bakat sebegini masih kurang.

"Manusia adalah ukuran bagi semua perkara," kata Wu Di, "Kami memerlukan lebih ramai orang yang berfikiran sama untuk menyertai dan bersama-sama mempromosikan pembangunan inovatif dalam bidang 3D

Sebagai anda boleh lihat, teknologi di sebalik Bangunan ChatAvatar dari awal mendedahkan inovasi berterusan sebuah syarikat permulaan AI dan keinginan syarikat untuk bakat dari kecil hingga besar mendedahkan bahawa di bawah gelombang AIGC, setiap segmen ingin muncul dari air Heart; di atas air.

Adakah anda bersedia untuk menerima AI generatif dan menjadi Pengubah Permainan dalam medan Teks-ke-3D?

Atas ialah kandungan terperinci Dapatkan isteri 3D maya dalam masa 30 saat dengan satu kad! Teks kepada 3D menjana manusia digital berketepatan tinggi dengan butiran liang yang jelas, menyambung dengan lancar dengan Maya, Unity dan alat pengeluaran lain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!