Berita baik dalam bidang penjanaan aset 3D: Institut Automasi dan pasukan Universiti Pos dan Telekomunikasi Beijing bersama-sama mencipta paradigma baharu penjanaan bahan

Lajur AIxiv ialah lajur di mana tapak ini menerbitkan kandungan akademik dan teknikal. Dalam beberapa tahun kebelakangan ini, lajur AIxiv laman web ini telah menerima lebih daripada 2,000 laporan, meliputi makmal terkemuka dari universiti dan syarikat utama di seluruh dunia, mempromosikan pertukaran dan penyebaran akademik secara berkesan. Jika anda mempunyai kerja yang sangat baik yang ingin anda kongsikan, sila berasa bebas untuk menyumbang atau hubungi kami untuk melaporkan. E-mel penyerahan: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Dalam era digital hari ini, aset 3D memainkan peranan penting dalam pembinaan metaverse, merealisasikan kembar digital, dan aplikasi realiti maya dan ditambah realiti. Menggalakkan inovasi teknologi dan peningkatan pengalaman pengguna.

Kaedah penjanaan aset 3D sedia ada biasanya menggunakan model generatif untuk membuat kesimpulan sifat bahan lokasi permukaan di bawah keadaan pencahayaan pratetap berdasarkan fungsi pengedaran pantulan dua arah (SVBRDF) yang berbeza-beza dari segi ruang. Walau bagaimanapun, kaedah ini jarang mengambil kira pengetahuan sedia ada yang kukuh dan kaya yang dibina oleh persepsi orang terhadap bahan permukaan objek biasa di sekeliling mereka (contohnya, tayar kereta haruslah tapak getah di tepi luar yang dibalut dengan roda logam), dan mengabaikan bahan Hendaklah diasingkan daripada warna RGB objek itu sendiri. Tanpa mengubah maksud asal, kaedah penjanaan aset 3D sedia ada sering menggunakan model generatif berdasarkan fungsi pengedaran pantulan dua arah (SVBRDF) yang berbeza-beza secara ruang untuk membuat kesimpulan sifat bahan memandangkan kedudukan permukaan di bawah keadaan pencahayaan yang telah ditetapkan Walau bagaimanapun, kaedah ini jarang mengambil kira yang kuat dan pengetahuan sedia ada yang kaya yang orang ada dalam membina bahan permukaan objek biasa di sekeliling kita (seperti fakta bahawa tayar kereta harus mempunyai bunga getah yang menutupi rim logam di tepi luar), dan mereka tidak menghiraukan penyahgandingan antara bahan dan warna RGB objek itu sendiri.

Oleh itu, cara mengintegrasikan pengetahuan sedia ada manusia secara berkesan tentang bahan permukaan objek ke dalam proses penjanaan bahan, dengan itu meningkatkan kualiti keseluruhan aset 3D sedia ada, telah menjadi topik penting dalam penyelidikan semasa.

Baru-baru ini, pasukan penyelidik dari Beijing dan Hong Kong termasuk Institut Automasi Akademi Sains China, Universiti Pos dan Telekomunikasi Beijing, dan Universiti Politeknik Hong Kong mengeluarkan kertas bertajuk "MaterialSeg3D: Membahagikan Bahan Padat daripada 2D Priors for 3D Assets" Kertas itu membina set data pembahagian bahan 2D pertama MIO untuk berbilang jenis objek bahan kompleks, yang mengandungi label bahan peringkat piksel untuk objek tunggal dan pelbagai sudut kamera di bawah berbilang kategori semantik. Penyelidikan ini mencadangkan skema penjanaan bahan yang boleh memanfaatkan semantik 2D sebelum membuat kesimpulan bahan permukaan aset 3D dalam ruang UV - MaterialSeg3D.

• Kertas: https://arxiv.org/pdf/2404.13923

• Alamat kod: https://github.com/PROPHETE-pro/MaterialSeg3D_

  tapak web //materialseg3d.github.io/

• 

Pemodel 3D biasanya mentakrifkan bahan permukaan aset berdasarkan akal sehat atau prototaip objek dunia sebenar. Sebaliknya, kaedah untuk membina aset 3D berdasarkan model generatif menggunakan SVBRDF untuk membuat kesimpulan maklumat material, tetapi disebabkan kekurangan sampel aset 3D berkualiti tinggi yang tepat, kaedah ini bergelut untuk menjana maklumat saluran bahan fizikal dengan generalisasi yang tinggi dan kesetiaan yang tinggi. Di samping itu, kaedah jenis ini juga gagal menggunakan data Imej Web secara besar-besaran di tapak web awam untuk memperkayakan pengetahuan sedia ada tentang maklumat bahan permukaan objek.
Oleh itu, artikel ini memberi tumpuan kepada cara memperkenalkan pengetahuan sedia ada tentang bahan dalam imej 2D ke dalam tugas menyelesaikan definisi maklumat bahan untuk aset 3D.

Set Data MIO

Kertas kerja ini mula-mula mencuba untuk mengekstrak pengetahuan sedia ada tentang pengelasan bahan daripada set data aset 3D yang sedia ada, bagaimanapun, disebabkan terlalu sedikit sampel dalam set data dan satu gaya, adalah sukar bagi model segmentasi untuk mempelajari pengetahuan sedia ada.

Berbanding dengan aset 3D, imej 2D lebih banyak tersedia di tapak web awam atau set data. Walau bagaimanapun, terdapat jurang yang besar dalam pengedaran set data imej 2D beranotasi sedia ada dan pemaparan aset 3D, dan tidak dapat memberikan pengetahuan awal yang mencukupi tentang bahan secara langsung.

Oleh itu, artikel ini membina set data tersuai MIO (Materialized Individual Objects), yang kini merupakan set data pensegmenan bahan 2D terbesar bagi aset bahan kompleks tunggal berbilang kategori Ia mengandungi imej yang diambil sampel daripada pelbagai sudut kamera dan disusun oleh a pasukan profesional.

                                                                                             ^{... Pemetaan sfera bahan BR.}

Semasa membina set data ini, artikel ini mengikut peraturan berikut:

• Setiap imej sampel mengandungi hanya satu objek latar depan yang menonjol

• Kumpulkan bilangan aset yang sama

  gambar 2D
dan pemaparan 3D

• Kumpul sampel imej dari pelbagai sudut kamera, termasuk perspektif khas seperti pandangan atas dan pandangan bawah

Keunikan set data MIO ialah ia bukan sahaja membina label tahap piksel untuk setiap kategori bahan, tetapi juga membinanya secara berasingan Menubuhkan hubungan pemetaan satu dengan satu antara setiap kategori bahan dan nilai bahan PBR. Hubungan pemetaan ini ditentukan selepas perbincangan di kalangan sembilan pemodel 3D profesional. Artikel ini mengumpul lebih daripada 1,000 bola bahan PBR sebenar dari perpustakaan bahan awam sebagai bahan calon, dan menapis dan menetapkannya berdasarkan pengetahuan profesional pemodel Akhirnya, 14 kategori bahan telah ditentukan dan hubungan pemetaannya dengan bahan PBR adalah sebagai label ruang set data.

Set data MIO mengandungi sejumlah 23,062 imej berbilang paparan objek kompleks tunggal, yang dibahagikan kepada 5 kategori meta besar: perabot, kereta, bangunan, alat muzik dan tumbuhan Secara khusus, ia boleh dibahagikan ke dalam 20 kategori khusus Perlu dinyatakan bahawa set data MIO mengandungi kira-kira 4000 imej paparan teratas, memberikan perspektif unik yang jarang dilihat dalam set data 2D sedia ada.

MaterialSeg3D

Dengan set data MIO sebagai sumber pengetahuan terdahulu yang boleh dipercayai tentang maklumat material, makalah ini kemudiannya mencadangkan paradigma baharu untuk ramalan bahan permukaan bagi aset Seg3D yang diberi nama yang boleh diberi nama. Bahan PBR pada permukaan aset, yang benar-benar boleh mensimulasikan sifat fizikal objek, termasuk pencahayaan, bayang-bayang dan pantulan, supaya objek 3D boleh menunjukkan tahap ketulenan dan konsistensi yang tinggi dalam pelbagai persekitaran, menyediakan asas baharu untuk 3D sedia ada Mencadangkan penyelesaian yang berkesan kepada masalah kekurangan maklumat material.

MaterialSeg3D Keseluruhan aliran pemprosesan termasuk tiga bahagian: pemaparan berbilang paparan aset 3D, ramalan bahan di bawah paparan berbilang dan penjanaan UV bahan 3D. Dalam peringkat pemaparan berbilang paparan, pose kamera untuk pandangan atas, pandangan sisi dan 12 sudut keliling telah ditentukan, serta sudut pic rawak untuk menjana imej yang dipaparkan 2D. Dalam peringkat ramalan bahan, model pembahagian bahan yang dilatih berdasarkan set data MIO digunakan untuk meramal label bahan peringkat piksel untuk pemaparan berbilang paparan. Dalam peringkat penjanaan bahan UV, hasil ramalan bahan dipetakan ke peta UV sementara, dan label bahan akhir UV diperoleh melalui mekanisme undian berwajaran dan ditukar menjadi peta bahan PBR.

Kesan visual dan eksperimen

Untuk menilai keberkesanan MaterialSeg3D, kertas kerja ini menjalankan analisis percubaan kuantitatif dan kualitatif yang serupa dengan kerja terkini, memfokuskan pada tiga aspek: kaedah penjanaan aset imej tunggal kepada 3D, penjanaan tekstur dan aset 3D awam. Untuk kaedah penjanaan aset imej tunggal kepada 3D, perbandingan telah dibuat dengan Wonder3D, TripoSR dan OpenLRM, yang mengambil pandangan rujukan tertentu aset sebagai input dan secara langsung menjana objek 3D dengan ciri tekstur. Ia diperhatikan melalui imej visual bahawa aset yang diproses oleh MaterialSeg3D mempunyai peningkatan yang ketara dalam memberikan realisme berbanding dengan kerja sebelumnya. Makalah ini juga membandingkan kaedah penjanaan tekstur sedia ada, seperti Fantasia3D, Text2Tex dan kefungsian dalam talian yang disediakan oleh tapak web Meshy, yang boleh menjana hasil tekstur berdasarkan maklumat segera teks.

Atas dasar ini, MaterialSeg3D boleh menjana maklumat bahan PBR yang tepat di bawah keadaan pencahayaan yang berbeza, menjadikan kesan pemaparan lebih realistik.

Percubaan kuantitatif menggunakan CLIP Similarity, PSNR dan SSIM sebagai penunjuk penilaian, memilih aset dalam set data Objaverse-1.0 sebagai sampel ujian dan secara rawak memilih tiga sudut kamera sebagai paparan baharu.

Eksperimen ini membuktikan keberkesanan MaterialSeg3D. Ia boleh menjana maklumat bahan PBR yang hilang daripada aset 3D awam, menyediakan lebih banyak aset berkualiti tinggi untuk pemodel dan kerja penyelidikan seterusnya.

Ringkasan dan Tinjauan

Kertas kerja ini meneroka masalah penjanaan bahan permukaan untuk aset 3D dan membina set data segmentasi bahan 2D tersuai MIO. Dengan sokongan set data yang boleh dipercayai ini, paradigma penjanaan bahan permukaan aset 3D baharu MaterialSeg3D dicadangkan, yang boleh menjana maklumat bahan PBR bebas yang dipisahkan untuk satu aset 3D, meningkatkan prestasi aset 3D sedia ada dengan ketara dalam keadaan pencahayaan yang berbeza adalah realistik dan munasabah.

Pengarang menunjukkan bahawa penyelidikan masa depan akan menumpukan pada mengembangkan bilangan metaclass objek dalam set data, mengembangkan saiz set data dengan menjana label pseudo, dan melatih sendiri model segmentasi bahan, supaya paradigma generasi ini boleh digunakan secara langsung pada kebanyakan jenis objek 3D.

Atas ialah kandungan terperinci Berita baik dalam bidang penjanaan aset 3D: Institut Automasi dan pasukan Universiti Pos dan Telekomunikasi Beijing bersama-sama mencipta paradigma baharu penjanaan bahan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!