Penjanaan pemandangan 3D: Hasilkan hasil yang pelbagai daripada sampel tunggal tanpa sebarang latihan rangkaian saraf

Hasil penjanaan pemandangan 3D yang pelbagai dan berkualiti tinggi

• Alamat kertas : https://arxiv.org/abs/2304.12670
• Laman utama projek: http://weiyuli.xyz/Sin3DGen/

Pengenalan

Sejumlah besar kerja telah muncul dalam bidang penjanaan imej menggunakan penjanaan kandungan berbantukan kecerdasan buatan (AIGC), daripada pengekod auto variasi awal (VAE), ke generasi Daripada rangkaian adversarial (GAN) kepada model resapan yang popular baru-baru ini (Model Penyebaran), keupayaan penjanaan model telah bertambah baik dengan pesat. Model yang diwakili oleh Stable Diffusion, Midjourney, dsb. telah mencapai hasil yang tidak pernah berlaku sebelum ini dalam menghasilkan imej yang sangat realistik. Pada masa yang sama, dalam bidang penjanaan video, banyak kerja cemerlang telah muncul baru-baru ini, sebagai contoh, model generatif Runway boleh menghasilkan klip video imaginatif. Aplikasi ini telah banyak merendahkan ambang untuk penciptaan kandungan, menjadikannya mudah untuk semua orang mengubah idea liar mereka menjadi realiti.

Namun, apabila media yang membawa kandungan semakin banyak, orang ramai secara beransur-ansur tidak lagi berpuas hati dengan kandungan grafik dua dimensi seperti gambar, teks dan video. Dengan perkembangan berterusan teknologi permainan elektronik interaktif, terutamanya kematangan aplikasi secara beransur-ansur seperti realiti maya dan tambahan, orang ramai semakin berharap untuk berinteraksi dengan pemandangan dan objek dari perspektif tiga dimensi, yang membawa keperluan untuk kandungan tiga dimensi. Menjana permintaan yang lebih besar.

Cara menjana kandungan tiga dimensi berkualiti tinggi dengan cepat dengan struktur geometri yang halus dan penampilan yang sangat realistik sentiasa menjadi isu utama yang diterokai oleh penyelidik dalam komuniti grafik komputer. Penjanaan pintar kandungan tiga dimensi melalui komputer boleh membantu dalam pengeluaran aset digital yang penting dalam permainan, pengeluaran filem dan televisyen dalam aplikasi pengeluaran sebenar, sangat mengurangkan masa pembangunan kakitangan pengeluaran seni, mengurangkan kos perolehan aset dengan ketara, dan memendekkan pengeluaran keseluruhan Kitaran ini juga menyediakan kemungkinan teknikal untuk pengguna membawa beribu-ribu pengalaman visual yang diperibadikan. Bagi pengguna biasa, kemunculan alatan penciptaan kandungan 3D yang pantas dan mudah, digabungkan dengan aplikasi seperti pencetak 3D desktop, akan membawa lebih banyak imaginasi tanpa had kepada kehidupan hiburan pengguna biasa pada masa hadapan.

Pada masa ini, walaupun pengguna biasa boleh mencipta kandungan dua dimensi dengan mudah seperti imej dan video melalui peranti seperti kamera mudah alih, malah model dan mengimbas pemandangan tiga dimensi, secara amnya, tinggi. Penciptaan kandungan 3D yang berkualiti selalunya memerlukan pemodelan dan rendering manual oleh profesional berpengalaman menggunakan perisian seperti 3ds Max, Maya, Blender, dll., tetapi ini mempunyai kos pembelajaran yang tinggi dan keluk pertumbuhan yang curam.

Salah satu sebab utama ialah ekspresi kandungan tiga dimensi adalah sangat kompleks, seperti model geometri, peta tekstur atau animasi rangka watak. Malah dari segi ungkapan geometri, ia boleh dalam pelbagai bentuk seperti awan titik, voxel dan jerat. Kerumitan ungkapan tiga dimensi sangat mengehadkan pengumpulan data dan reka bentuk algoritma seterusnya.

Sebaliknya, data 3D secara semula jadi terhad, dan kos pemerolehan data adalah tinggi Ia selalunya memerlukan peralatan yang mahal dan proses pemerolehan yang kompleks, dan sukar untuk mengumpul yang besar bilangan data 3D dalam format bersatu. Ini menjadikan kebanyakan model generatif dalam terdorong data sukar digunakan.

Di peringkat algoritma, cara menyuap data tiga dimensi yang dikumpul ke dalam model pengiraan juga merupakan masalah yang sukar untuk diselesaikan. Overhed kuasa pengkomputeran pemprosesan data tiga dimensi secara eksponen lebih tinggi daripada data dua dimensi. Memanjangkan algoritma penjanaan dua dimensi kepada tiga dimensi secara ganas adalah sukar untuk diproses walaupun pemproses pengkomputeran selari yang paling maju dalam masa yang boleh diterima.

Atas sebab di atas, kebanyakan kerja penjanaan kandungan 3D semasa dihadkan kepada kategori tertentu atau hanya boleh menjana kandungan resolusi yang lebih rendah, menjadikannya sukar untuk menggunakannya pada proses pengeluaran sebenar.

Untuk menyelesaikan masalah di atas, Pasukan Chen Baoquan Universiti Peking bekerjasama dengan penyelidik dari Universiti Shandong dan Tencent AI Lab untuk mencadangkan senario sampel tunggal yang pertama tanpa latihan. Kaedah yang boleh menjana pelbagai pemandangan 3D berkualiti tinggi. Algoritma ini mempunyai kelebihan berikut:

1 Ia tidak memerlukan data latihan yang serupa berskala besar dan latihan jangka panjang, dan boleh menjana adegan tiga dimensi berkualiti tinggi dengan hanya menggunakan. satu sampel;

2, menggunakan Plenoxel berdasarkan medan sinaran saraf sebagai ekspresi tiga dimensi, pemandangan itu mempunyai penampilan yang sangat realistik dan boleh menghasilkan imej berbilang paparan foto-realistik. Adegan yang dihasilkan juga mengekalkan semua ciri sampel dengan sempurna, seperti kesan pantulan pada permukaan air yang berubah dengan sudut tontonan; 3, menyokong pelbagai pengeluaran aplikasi; senario, seperti adegan tiga dimensi Pengeditan, pengalihan saiz, analogi struktur adegan, menukar rupa pemandangan, dsb.

Pengenalan kaedah

Para penyelidik mencadangkan rangka kerja penjanaan progresif berskala, seperti yang ditunjukkan dalam rajah di bawah. Idea teras algoritma adalah untuk membongkar adegan sampel menjadi berbilang blok, memperkenalkan bunyi Gaussian, dan kemudian memasangnya semula menjadi adegan baharu yang serupa dengan cara yang serupa dengan blok bangunan.

Pengarang menggunakan medan pemetaan koordinat dan ekspresi heterogen sampel untuk mewakili pemandangan yang dijana, menjadikan penjanaan berkualiti tinggi boleh dilaksanakan. Bagi menjadikan proses pengoptimuman algoritma lebih mantap, kajian ini juga mencadangkan kaedah pengoptimuman berdasarkan campuran nilai dan koordinat. Pada masa yang sama, untuk menyelesaikan masalah penggunaan sumber secara besar-besaran dalam pengiraan tiga dimensi, penyelidikan ini menggunakan strategi pengoptimuman anggaran yang tepat, yang membolehkan penjanaan adegan baharu berkualiti tinggi dalam beberapa minit tanpa sebarang latihan. Sila rujuk kertas asal untuk butiran lanjut teknikal.

Penjanaan adegan rawak

Dengan satu adegan sampel 3D seperti yang terdapat dalam kotak di sebelah kiri, adegan baharu dengan geometri kompleks dan rupa realistik boleh dijana dengan cepat. Kaedah ini boleh mengendalikan objek dengan topologi kompleks, seperti kaktus, gerbang dan bangku batu, dan pemandangan yang dijana dengan sempurna mengekalkan geometri halus dan penampilan berkualiti tinggi bagi adegan sampel. Tiada model generatif semasa berdasarkan rangkaian saraf yang mencapai kualiti dan kepelbagaian yang serupa.

Penjanaan pemandangan besar resolusi tinggi

Kaedah ini boleh menjana resolusi yang sangat tinggi dengan cekap kandungan 3D. Seperti yang ditunjukkan di atas, kita boleh menjana bahagian "Ribu Batu Sungai dan Pergunungan" resolusi 1328 x 512 x 200 dengan memasukkan bahagian tunggal "Ribuan Batu Sungai dan Pergunungan" tiga dimensi dengan resolusi 512 x 512 x 200 di penjuru kiri sebelah atas, dan jadikannya 4096 x 1024 imej berbilang paparan 2D dengan peleraian tinggi.

Penjanaan pemandangan tanpa sempadan dunia sebenar

Penulis juga mengesahkan kaedah penjanaan yang dicadangkan pada pemandangan semula jadi sebenar. Dengan menggunakan kaedah pemprosesan yang serupa dengan NeRF++, selepas memisahkan latar depan dan latar belakang secara eksplisit seperti langit, dan menjana kandungan latar depan secara berasingan, adegan baharu boleh dijana dalam adegan tanpa sempadan di dunia nyata.

Senario aplikasi lain

Suntingan adegan

Menggunakan rangka kerja algoritma generasi yang sama, dengan menambahkan sekatan yang dinyatakan secara buatan, operasi penyuntingan seperti pemadaman, penyalinan dan pengubahsuaian objek dalam pemandangan tiga dimensi boleh dilakukan. Seperti yang ditunjukkan dalam gambar, anda boleh mengalih keluar gunung dari tempat kejadian dan mengisi lubang secara automatik, menduplikasinya untuk mencipta tiga puncak atau menjadikan gunung itu lebih besar.

Ubah Hala Saiz

Kaedah ini juga boleh meregangkan atau memampatkan objek tiga dimensi sambil mengekalkan bentuk setempatnya. Bingkai hijau dalam gambar menunjukkan adegan sampel asal, yang memanjangkan kereta api tiga dimensi sambil mengekalkan saiz tempatan tingkap.

Penjanaan analogi struktur

Sama seperti pemindahan gaya imej, memandangkan dua adegan A dan B, kita boleh mencipta pemandangan baharu yang mempunyai rupa dan ciri geometri A, tetapi mempunyai struktur yang serupa dengan B. Sebagai contoh, kita boleh merujuk kepada gunung salji untuk mengubah gunung lain menjadi gunung salji tiga dimensi.

Tukar contoh adegan

Disebabkan Kaedah ini menggunakan ekspresi heterogen untuk adegan yang dihasilkan, dan boleh menjana adegan baharu yang lebih pelbagai dengan hanya mengubah suai adegan sampel yang dipetakan. Contohnya, dengan menggunakan medan pemetaan pemandangan yang sama S untuk memetakan pemandangan pada masa atau musim yang berbeza, hasil penjanaan yang lebih kaya boleh diperolehi.

Ringkasan

Kerja ini berorientasikan bidang penjanaan kandungan 3D Ia mencadangkan model penjanaan pemandangan semula jadi 3D berdasarkan satu sampel untuk kali pertama, mencuba untuk menyelesaikan masalah kaedah penjanaan 3D semasa Terdapat masalah seperti keperluan data yang besar, overhed kuasa pengkomputeran yang tinggi, dan kualiti penjanaan yang lemah. Kerja ini memfokuskan pada adegan semula jadi yang lebih umum dengan maklumat semantik yang lemah, memberi lebih perhatian kepada kepelbagaian dan kualiti kandungan yang dijana. Algoritma ini diilhamkan terutamanya oleh teknologi yang berkaitan dengan penjanaan imej tekstur dalam grafik komputer tradisional, dan digabungkan dengan medan sinaran saraf baru-baru ini, ia dengan cepat boleh menjana pemandangan tiga dimensi berkualiti tinggi dan telah menunjukkan pelbagai aplikasi praktikal.

Tinjauan Masa Depan

Kerja ini mempunyai fleksibiliti yang kuat, bukan sahaja boleh digabungkan dengan ekspresi neural semasa, tetapi juga sesuai untuk ekspresi geometri saluran paip pemaparan tradisional, seperti poligon. mesh. Walaupun kami memberi tumpuan kepada data dan model yang besar, kami juga harus menyemak alat grafik tradisional dari semasa ke semasa. Penyelidik percaya bahawa dalam masa terdekat, dalam bidang AIGC 3D, alat grafik tradisional digabungkan dengan ekspresi saraf berkualiti tinggi dan model generasi berkuasa akan mencipta percikan yang lebih cemerlang, seterusnya mempromosikan kualiti dan kelajuan penjanaan kandungan 3D, dan membebaskan kreativiti Rakyat. .

Kajian ini telah dibincangkan oleh ramai netizen:

Sesetengah netizen berkata: (Penyelidikan ini) bagus untuk pembangunan permainan, anda hanya perlu untuk memodelkan satu model untuk menjana banyak versi baharu.

Sesetengah orang bersetuju sepenuhnya dengan pandangan di atas Pembangun permainan, individu dan syarikat kecil boleh mendapat manfaat daripada jenis ini daripada model.

Atas ialah kandungan terperinci Penjanaan pemandangan 3D: Hasilkan hasil yang pelbagai daripada sampel tunggal tanpa sebarang latihan rangkaian saraf. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!