SIGGRAPH2024｜Universiti Sains dan Teknologi Shanghai dan Yingmu bersama-sama mencadangkan Kod Pakaian: menjana corak pakaian 3D daripada teks

Lajur AIxiv ialah lajur di mana tapak ini menerbitkan kandungan akademik dan teknikal. Dalam beberapa tahun kebelakangan ini, lajur AIxiv laman web ini telah menerima lebih daripada 2,000 laporan, meliputi makmal terkemuka dari universiti dan syarikat utama di seluruh dunia, mempromosikan pertukaran dan penyebaran akademik secara berkesan. Jika anda mempunyai kerja yang sangat baik yang ingin anda kongsikan, sila berasa bebas untuk menyumbang atau hubungi kami untuk melaporkan. E-mel penyerahan: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Generasi 3D ialah salah satu topik yang paling menarik perhatian dalam bidang kecerdasan buatan generatif dan penjanaan komputer 3D dan standard permainan Ia amat dibimbangkan oleh industri. Dalam proses pengeluaran, aset 3D kategori umum sering dihasilkan melalui pemodelan manual atau pengimbasan. Walau bagaimanapun, sebagai kategori penting aset 3D, aset pakaian selalunya diperoleh daripada proses seperti corak rata dan simulasi fizikal, dan bukannya pemodelan terus dalam 3D.

Shanghai University of Science and Technology, Yingmo Technology dan University of Pennsylvania bersama-sama mencadangkan DressCode Ia merupakan rangka kerja penjanaan pakaian 3D pertama yang menyokong sepenuhnya operasi CG dan serasi dengan proses perindustrian secara automatik pakaian melalui panduan teks pemaparan berkualiti, boleh diedit, boleh dipandu, pakaian 3D yang disimulasikan.

Kod pakaian telah diterima oleh Transactions on Graphics, jurnal antarabangsa teratas dalam bidang grafik komputer, dan akan dibentangkan di SIGGRAPH 2024, persidangan antarabangsa teratas mengenai grafik komputer.

• Pautan projek: https://sites.google.com/view/projectpage-dresscode
• Pautan kertas: https://arxiv.org/abs/2451.
164.

Pengenalan

Pakaian memainkan peranan penting dalam penampilan manusia, yang menyerlahkan kepentingan pendigitalan pakaian untuk penciptaan manusia digital. Kemajuan dramatik terkini dalam penciptaan kandungan 3D adalah penting untuk penciptaan manusia digital.

Walau bagaimanapun, masih terdapat kekosongan dalam kerja-kerja penjanaan pakaian Memandangkan mesh atau medan saraf yang dihasilkan oleh kaedah generasi umum tidak serasi dengan proses pengeluaran pakaian digital yang sebenar, penggunaan kaedah jenis ini secara langsung untuk. kategori pakaian tidak mencapai banyak kejayaan.

Untuk menyelesaikan masalah ini, pasukan R&D dari Yingmo Technology dan Universiti Sains dan Teknologi Shanghai mencadangkan rangka kerja penjanaan pakaian 3D yang dipacu teks-Kod Pakaian, bertujuan untuk memudahkan reka bentuk pakaian digital untuk pemula dan menambah baik kecekapan dalam reka bentuk fesyen, percubaan maya dan penciptaan manusia digital menawarkan potensi yang besar.

Rangka kerja ini boleh menjana model pakaian yang mesra kepada proses CG melalui interaksi bahasa semula jadi, dan juga memudahkan penyiapan corak dan penyuntingan tekstur, memudahkan proses reka bentuk melalui interaksi mesra pengguna. Artikel ini akan memperkenalkan fungsi utama DressCode secara terperinci dan meneroka prospek aplikasinya dalam senario reka bentuk sebenar.

Gambaran Keseluruhan Rangka Kerja JahitGPT

Untuk modul penjanaan corak, kertas kerja mencadangkan SewingGPT, iaitu model autoregresif berdasarkan GPT untuk menghasilkan corak jahitan melalui gesaan teks. Ia mula-mula menukar parameter corak jahitan ke dalam satu siri token yang dikira dan melatih Transformer Dekoder sahaja. Dan dengan menyepadukan perhatian silang perkataan gesaan teks dalam Transformer, teks boleh digunakan untuk membimbing hasil yang dihasilkan.

Selepas latihan selesai, model boleh menjana urutan token secara autoregresif mengikut keadaan pengguna, dan membalikkan kuantiti urutan yang dijana untuk mendapatkan parameter corak jahitan yang dijana.

Gambaran Keseluruhan Rangka Kerja Kod Pakaian

Dengan JahitGPT, rangka kerja ini mampu menjana corak jahitan yang pelbagai terus daripada gesaan teks. Memandangkan pemetaan bahan sangat kritikal dalam saluran paip CG, rangka kerja menjana tekstur berasaskan fizikal yang sepadan untuk corak ini, menjajarkan lebih rapat dengan aliran kerja reka bentuk pakaian.

Rangka kerja DressCode yang dicadangkan oleh pengarang menggunakan penjana tekstur SewingGPT dan PBR untuk menjana bahagian geometri dan bahagian tekstur pakaian 3D, dan seterusnya menggunakan model bahasa besar untuk mencipta pakaian tersuai untuk pengguna melalui interaksi bahasa semula jadi.

Setelah menyedari penjanaan corak dan tekstur jahitan melalui gesaan teks, bagi membolehkan pereka bentuk menggunakan bahasa semula jadi untuk berinteraksi dengan penjana dalam senario sebenar dan bukannya bergantung pada gesaan dalam format set data, pengarang menggunakan GPT- 4 Lakukan pembelajaran kandungan untuk mentafsir input bahasa semula jadi pengguna dan menjana perkataan gesaan geometri dan perkataan gesaan tekstur.

Selepas kata-kata gesaan ini dimasukkan ke dalam SewingGPT dan penjana tekstur PBR, corak dan tekstur jahitan yang dihasilkan diperoleh, dan hasil akhir diperoleh melalui simulasi dan rendering. Pada masa yang sama, pakaian dan tekstur PBR yang dijana boleh disepadukan dengan lancar ke dalam perisian perindustrian, boleh dianimasikan dan dipacu dengan model manusia, dan dipaparkan di bawah pelbagai pencahayaan untuk memastikan kesan yang jelas dan realistik.

Keupayaan menyiapkan corak

Terima kasih kepada model autoregresif, SewingGPT boleh melengkapkan keseluruhan corak jahitan selepas menerima maklumat corak separa dengan menggunakan ramalan kebarangkalian model. Di samping itu, memasukkan gesaan teks boleh membimbing model untuk melengkapkan corak jahitan. Sebagai contoh, selepas lengan diberikan, model boleh melengkapkan pelbagai corak jahitan mengikut gesaan yang berbeza. Ini membolehkan pengguna mereka bentuk corak separa secara manual, menggunakan SewingGPT untuk inspirasi dan melengkapkan pakaian berdasarkan gesaan teks.

Keupayaan penyuntingan tekstur

Dalam tugas penjanaan 3D terbaharu, ketidakupayaan untuk menjana pemetaan UV berstruktur merupakan penghalang utama, terutamanya dalam penggunaan praktikal. digunakan dalam senario reka bentuk sebenar. Kaedah generatif yang dicadangkan dalam kertas ini, menggunakan perwakilan corak jahitan, membolehkan penciptaan peta UV yang unik dan berstruktur untuk setiap corak. Ini juga membolehkan pengguna mengedit tekstur dengan mudah di lokasi tertentu, menyokong pemprosesan pasca pemprosesan peta tekstur yang cekap.

Aplikasi dan Tinjauan

Rangka Kerja Kod Pakaian telah mencapai keputusan yang cemerlang berbanding dengan kaedah lain Memandangkan penjanaan pakaian yang pertama bekerja berdasarkan kepada kedua-dua corak jahitan, pengguna boleh memulakan kerja-kerja jahitan pereka boleh menjana corak jahitan berkualiti tinggi dan tekstur PBR melalui gesaan teks ringkas, sangat memudahkan proses reka bentuk pakaian.

Kemudahan penggunaan dan pendekatan inovatif dari DressCode menjanjikan untuk memacu masa depan pakaian digital. Tugas penjanaan jenis ini berdasarkan corak jahitan akan menggalakkan pembangunan percubaan maya, reka bentuk fesyen dan pakaian digital yang dicipta oleh orang digital, yang kami nantikan bersama.

Atas ialah kandungan terperinci SIGGRAPH2024｜Universiti Sains dan Teknologi Shanghai dan Yingmu bersama-sama mencadangkan Kod Pakaian: menjana corak pakaian 3D daripada teks. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!