Hasilkan gunung dan sungai dengan satu klik, dalam pelbagai gaya, dan belajar menjana pemandangan 3D tanpa had daripada imej 2D

• Laman utama projek: https://scene-dreamer.github.io/
• Kod: https://github.com/FrozenBurning/SceneDreamer
• Kertas: https://arxiv.org/abs/2302.01330
• Demo Dalam Talian: https://huggingface.co/spaces/FrozenBurning/SceneDreamer

Untuk memenuhi permintaan yang semakin meningkat untuk alatan kreatif 3D dalam Metaverse, penjanaan pemandangan 3D telah mendapat perhatian yang besar baru-baru ini. Pada teras penciptaan kandungan 3D ialah grafik songsang, yang bertujuan untuk memulihkan perwakilan 3D daripada pemerhatian 2D. Memandangkan kos dan tenaga kerja yang diperlukan untuk mencipta aset 3D, matlamat utama penciptaan kandungan 3D adalah untuk mempelajari model generatif 3D daripada sejumlah besar imej 2D di Internet. Kerja terbaru mengenai model generatif persepsi 3D telah menangani masalah ini sedikit sebanyak, dengan kebanyakan kerja memanfaatkan data imej 2D untuk menjana kandungan bertumpu objek (cth., muka, badan manusia atau objek). Walau bagaimanapun, ruang pemerhatian jenis tugas penjanaan ini berada dalam domain terhingga, dan sasaran yang dijana menduduki kawasan terhad ruang tiga dimensi. Ini menimbulkan persoalan, bolehkah kita mempelajari model generatif 3D adegan tanpa sempadan daripada imej 2D Internet yang besar? Contohnya, landskap semula jadi yang terang yang boleh meliputi mana-mana kawasan yang luas dan berkembang tanpa had (seperti yang ditunjukkan di bawah).

Dalam artikel ini, penyelidik dari S-Lab Universiti Teknologi Nanyang mencadangkan rangka kerja SceneDreamer baharu, memfokuskan pada pembelajaran model generatif adegan 3D tanpa sempadan daripada imej semula jadi besar tanpa label. Dengan mensampel bunyi pemandangan dan bunyi gaya, SceneDreamer boleh menghasilkan pelbagai gaya pemandangan semula jadi sambil mengekalkan konsistensi tiga dimensi yang sangat tinggi, membolehkan kamera berkeliaran dengan bebas di tempat kejadian.

Untuk mencapai matlamat sedemikian, kami menghadapi tiga cabaran berikut:

1) Adegan tanpa sempadan kekurangan perwakilan tiga dimensi yang cekap: tiada sempadan Pemandangan selalunya menduduki ruang Euclidean yang besar sewenang-wenangnya, yang menonjolkan kepentingan perwakilan 3D asas yang cekap dan ekspresif.

2) Kekurangan penjajaran kandungan: Kerja penjanaan 3D sedia ada menggunakan set data dengan sifat penjajaran (seperti muka, badan manusia, objek biasa, dsb.). Biasanya mempunyai semantik yang sama, kedudukan dan arah skala yang sama. Walau bagaimanapun, dalam imej 2D tidak berlabel besar-besaran, objek atau pemandangan yang berbeza selalunya mempunyai semantik yang sangat berbeza dan mempunyai skala, kedudukan dan orientasi yang berubah-ubah. Kekurangan penjajaran ini boleh menyebabkan ketidakstabilan dalam latihan model generatif.

3) Kekurangan pose sebelum kamera: Model generatif 3D bergantung pada prior pose kamera yang tepat atau taburan pose kamera untuk melaksanakan proses pemaparan songsang daripada imej kepada perwakilan 3D. Walau bagaimanapun, imej semula jadi di Internet datang daripada pemandangan dan sumber imej yang berbeza, menjadikannya mustahil untuk kami mendapatkan maklumat yang tepat atau maklumat terdahulu tentang pose kameranya.

Untuk tujuan ini, kami mencadangkan rangka kerja pembelajaran lawan berprinsip SceneDreamer, yang belajar untuk menjana pemandangan tiga dimensi tanpa had daripada imej semula jadi yang besar tanpa label. Rangka kerja ini terdiri daripada tiga modul utama: 1) perwakilan pemandangan 3D pandangan mata burung (BEV) yang cekap dan ekspresif 2) grid cincang saraf generatif yang mempelajari perwakilan sejagat bagi pemandangan 3) pemapar volumetrik dipacu gaya; dan Latihan dilakukan secara terus daripada imej dua dimensi melalui pembelajaran adversarial.

Gambar di atas menunjukkan struktur utama SceneDreamer. Semasa proses inferens, kami boleh mencuba secara rawak hingar simpleks mewakili struktur pemandangan dan hingar Gaussian yang mewakili gaya pemandangan sebagai input, dan model kami boleh memaparkan Pemandangan tiga dimensi berskala besar sambil menyokong pergerakan bebas kamera. Mula-mula kita memperoleh perwakilan pemandangan BEV yang terdiri daripada peta ketinggian dan peta semantik daripada bunyi pemandangan . Kemudian, perwakilan BEV dieksploitasi untuk membina tetingkap pemandangan 3D tempatan secara eksplisit untuk melaksanakan pensampelan kamera, sambil mengekodkan perwakilan BEV ke dalam ciri pemandangan 〈🎜〉〈🎜〉〈🎜〉. Kami menggunakan koordinat titik pensampelan dan ciri pemandangan untuk menanyakan ruang dimensi tinggi yang dikodkan oleh grid pencincangan saraf generatif untuk mendapatkan perbezaan spatial dan adegan Laten pembezaan pembolehubah . Akhirnya kami menyepadukan pembolehubah terpendam pada sinar kamera melalui pemapar volum yang dimodulasi oleh hingar gaya, dan akhirnya mendapatkan imej 2D yang dipaparkan. Untuk mempelajari penjanaan pemandangan 3D tanpa sempadan, kami berharap adegan itu perlu dizahirkan dengan cekap dan berkualiti tinggi. Kami mencadangkan untuk menyatakan pemandangan tiga dimensi berskala besar menggunakan perwakilan BEV yang terdiri daripada peta semantik dan peta ketinggian. Secara khusus, kami memperoleh peta ketinggian dan peta semantik daripada pandangan mata burung daripada bunyi tempat kejadian melalui kaedah pembinaan peta bukan parametrik. Peta ketinggian merekodkan maklumat ketinggian titik permukaan pemandangan, manakala peta semantik merekodkan label semantik bagi titik yang sepadan. Perwakilan BEV yang kami gunakan, yang terdiri daripada peta semantik dan peta ketinggian, boleh: 1) mewakili pemandangan tiga dimensi pada kerumitan n^2 2) boleh mendapatkan semantik yang sepadan dengan titik tiga dimensi, dengan itu menyelesaikan masalah penjajaran kandungan. 3) Menyokong penggunaan tingkap gelongsor untuk mensintesis adegan tak terhingga, mengelakkan masalah generalisasi yang disebabkan oleh resolusi adegan tetap semasa latihan.

Untuk mengekod perwakilan tiga dimensi yang boleh digeneralisasikan antara adegan, kita perlu mengekod perwakilan pemandangan tiga dimensi ruang ke dalam ruang terpendam untuk memudahkan latihan pembelajaran lawan. Perlu diingat bahawa untuk adegan tanpa sempadan berskala besar, biasanya hanya titik kelihatan permukaannya yang bermakna untuk pemaparan, yang bermaksud bahawa bentuk parametriknya hendaklah padat dan jarang. Kaedah sedia ada seperti ruang model tiga satah atau tiga dimensi konvolusi secara keseluruhan, tetapi sejumlah besar kapasiti model terbuang untuk memodelkan titik permukaan yang tidak kelihatan. Diilhamkan oleh kejayaan grid cincang saraf pada tugas pembinaan semula 3D, kami menyamaratakan sifat ruang padat dan cekapnya kepada tugas generatif dan mencadangkan penggunaan grid cincang saraf generatif untuk memodelkan ciri spatial 3D merentas adegan. Khususnya, fungsi cincang F_theta digunakan untuk memetakan ciri pemandangan f_s dan koordinat titik spatial x kepada parameter boleh dipelajari bagi pencampuran berbilang skala:

Untuk memastikan ketekalan pemaparan tiga dimensi, kami menggunakan rangkaian pemaparan berdasarkan pemaparan volum untuk melengkapkan pemetaan ciri ruang tiga dimensi kepada imej dua dimensi. Untuk titik pada cahaya kamera, kami menanyakan grid cincang generatif untuk mendapatkan ciri yang sepadan f_x, menggunakan MLP berbilang lapisan yang dimodulasi oleh gaya hingar untuk mendapatkan warna dan ketumpatan volum titik sepadannya, dan akhirnya menggunakan pemaparan volum untuk menukar a titik Semua titik pada sinar kamera disepadukan ke dalam warna piksel yang sepadan.

Seluruh rangka kerja dilatih secara langsung dari hujung ke hujung pada imej 2D melalui pembelajaran lawan. Penjana ialah pemapar volum yang dinyatakan di atas, dan untuk diskriminator kami menggunakan rangkaian diskriminatif sedar semantik untuk membezakan antara imej sebenar dan imej yang dipaparkan berdasarkan peta semantik yang ditayangkan pada kamera daripada perwakilan BEV. Sila rujuk kertas kami untuk butiran lanjut.

Selepas latihan selesai, kami boleh menjana pelbagai adegan 3D dengan mensampel secara rawak bunyi pemandangan dan bunyi gaya, dengan maklumat kedalaman yang baik dan konsistensi 3D, dan menyokong trajektori kamera percuma Rendering:

Untuk mengesahkan ketekalan tiga dimensi kaedah kami, kami juga menggunakan trajektori kamera bulat untuk menghasilkan sebarang pemandangan, dan menggunakan semula COLMAP untuk pembinaan semula tiga dimensi, yang boleh mendapatkan awan titik pemandangan yang lebih baik dan pose kamera yang sepadan menunjukkan bahawa kaedah ini boleh menghasilkan pelbagai pemandangan tiga dimensi sambil memastikan ketekalan tiga dimensi:

Kerja ini mencadangkan SceneDreamer, model untuk menghasilkan pemandangan 3D tanpa sempadan daripada imej 2D yang besar. Kami dapat mensintesis adegan 3D berskala besar yang pelbagai daripada hingar sambil mengekalkan konsistensi 3D dan menyokong trajektori kamera percuma. Kami berharap kerja ini dapat memberikan hala tuju dan kemungkinan penerokaan baharu untuk industri permainan, realiti maya dan ekologi metaverse. Sila rujuk halaman utama projek kami untuk butiran lanjut.

Atas ialah kandungan terperinci Hasilkan gunung dan sungai dengan satu klik, dalam pelbagai gaya, dan belajar menjana pemandangan 3D tanpa had daripada imej 2D. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!