Meletakkan seluruh bumi ke dalam rangkaian saraf, pasukan Universiti Beihang melancarkan model penjanaan imej penderiaan jauh global

Pasukan penyelidik Universiti Beihang menggunakan model resapan untuk "meniru" Bumi?

Di mana-mana lokasi di seluruh dunia, model ini boleh menjana imej penderiaan jauh berbilang resolusi, mencipta "adegan selari" yang kaya dan pelbagai.

Dan ciri geografi yang kompleks seperti rupa bumi, iklim, tumbuh-tumbuhan, dsb. semuanya diambil kira.

Diinspirasikan oleh Google Earth, pasukan penyelidik Beihang "memuatkan" imej penderiaan jauh satelit seluruh Bumi ke dalam rangkaian saraf dalam dari perspektif atas.

Berdasarkan rangkaian sedemikian, pasukan itu membina MetaEarth, model penjanaan visual atas ke bawah global.

MetaEarth mempunyai 600 juta parameter dan boleh menjana imej penderiaan jauh dengan berbilang resolusi, tanpa sempadan dan meliputi mana-mana lokasi geografi di seluruh dunia.

Model penjanaan imej penderiaan jauh global

Berbanding dengan penyelidikan terdahulu, membina model penjanaan visual asas seluruh dunia adalah lebih mencabar, dan banyak kesukaran telah diatasi dalam proses itu.

Kapasiti model merupakan satu cabaran kerana Bumi mempunyai pelbagai ciri geografi seperti bandar, hutan, padang pasir, lautan, glasier dan padang salji, yang perlu difahami dan diwakili oleh model.

Malah jenis ciri buatan manusia yang sama akan menunjukkan perbezaan yang besar di bawah latitud, iklim dan persekitaran budaya yang berbeza, yang meletakkan permintaan yang tinggi terhadap kapasiti model yang dihasilkan.

MetaEarth telah berjaya menyelesaikan kesukaran ini dan mencapai resolusi tinggi dan penjanaan pemandangan berskala besar di lokasi dan bentuk muka bumi yang berbeza.

Selain itu, menjana imej penderiaan jauh dengan resolusi boleh dikawal juga merupakan satu cabaran.

Oleh kerana dalam proses pengimejan imej atas, paparan ciri ciri tanah sangat dipengaruhi oleh resolusi Terdapat perbezaan yang jelas di bawah resolusi imej yang berbeza Sukar untuk menjana dengan tepat pada resolusi yang ditetapkan (meter/piksel). Kebolehan.

Apabila MetaEarth menjana imej resolusi berbeza, ia boleh mempersembahkan ciri permukaan dengan tepat dan munasabah, dan korelasi antara resolusi berbeza juga dipetakan dengan tepat.

Akhir sekali, terdapat cabaran penjanaan imej tanpa had - tidak seperti imej semula jadi harian, imej penderiaan jauh mempunyai ciri-ciri lebar ultra lebar, dan panjang sisi mungkin mencecah puluhan ribu piksel. Ia sukar untuk sebelumnya kaedah untuk menghasilkan imej yang berterusan dan tidak terhad dalam sebarang saiz.

Tetapi pemandangan tanpa sempadan berterusan yang dihasilkan oleh MetaEarth mengelakkan kecacatan ini, dan anda dapat melihat bahawa imej bergerak dengan sangat lancar semasa "lensa" diterjemahkan.

Selain itu, MetaEarth mempunyai prestasi generalisasi yang kukuh dan boleh menjana imej berbilang resolusi dalam lata dengan pemandangan yang tidak diketahui sebagai input bersyarat.

Sebagai contoh, dengan memasukkan "Pandora Planet" yang dijana oleh GPT4-V sebagai syarat awal ke dalam model, MetaEarth masih mampu menjana imej dengan taburan objek tanah yang munasabah dan butiran yang realistik.

Hasil pengesahan pada misi hiliran menunjukkan bahawa MetaEarth, sebagai enjin data serba baharu, dijangka menyediakan persekitaran maya dan sokongan data latihan untuk pelbagai misi hiliran dalam bidang pemerhatian bumi.

Semasa percubaan, pengarang memilih tugas asas pengelasan imej penderiaan jauh untuk pengesahan Keputusan menunjukkan bahawa dengan bantuan imej berkualiti tinggi yang dihasilkan oleh MetaEarth, ketepatan pengelasan tugas hiliran telah dipertingkatkan dengan ketara.

Pengarang percaya bahawa MetaEarth dijangka menyediakan persekitaran maya yang realistik untuk platform sistem udara tanpa pemandu seperti satelit, dan digunakan secara meluas dalam perancangan bandar, pemantauan alam sekitar, pengurusan bencana, pengoptimuman pertanian dan bidang lain

Selain berfungsi sebagai enjin data Selain itu, MetaEarth juga mempunyai potensi besar dalam membina model dunia generatif, menyediakan kemungkinan baharu untuk penyelidikan masa hadapan. .

Jadi, bagaimana MetaEarth mencapainya?

600 juta model resapan parameter "mereplikasi" bumi

MetaEarth dibina berdasarkan model resapan kemungkinan dan mempunyai skala parameter lebih daripada 600 juta.

Untuk menyokong latihan model, pasukan itu mengumpulkan set data imej penderiaan jauh yang besar, yang mengandungi imej berbilang resolusi spatial dan maklumat geografinya (latitud, longitud dan resolusi) meliputi kebanyakan wilayah di seluruh dunia.

Dalam kajian ini, penulis mencadangkan rangka kerja penjanaan lata diri berpandukan resolusi.

△Rangka kerja keseluruhan MetaEarth

Di bawah rangka kerja ini, hanya satu model boleh digunakan untuk mencapai penjanaan imej berbilang resolusi untuk lokasi geografi tertentu, dan mencipta "imej selari" yang kaya dan pelbagai pada setiap peringkat resolusi.

Secara khusus, ini ialah rangkaian penyahnosingan berstruktur codec yang menggabungkan pengekodan imej bersyarat resolusi rendah dan resolusi spatial dengan pembenaman langkah masa bagi proses denosing untuk meramalkan hingar pada setiap langkah masa, Laksanakan penjanaan imej.

Untuk menjana imej tanpa sempadan dalam sebarang saiz, penulis juga mereka bentuk kaedah penjanaan tetingkap gelongsor yang cekap memori dan strategi pensampelan hingar.

Strategi ini membahagikan imej yang dijana kepada blok imej bertindih sebagai syarat, dan menggunakan strategi pensampelan hingar khusus untuk menjana kandungan yang serupa dalam kawasan kongsi blok imej bersebelahan, dengan itu mengelakkan jurang penyambungan.

Selain itu, strategi pensampelan hingar ini juga membolehkan model menggunakan kurang sumber memori video apabila menjana imej tanpa had dalam sebarang saiz.

Profil Pasukan

Penulis kajian ini adalah daripada "Makmal Pembelajaran, Penglihatan dan Penderiaan Jauh, Makmal LEVIR"(Makmal Pembelajaran, Penglihatan dan Penderiaan Jauh, Makmal LEVIR) Makmal ini diketuai oleh Profesor Shi Zhenwei, Ulama Muda Terbilang Negara.

Profesor Zou Zhengxia, bekas pelajar kedoktoran Profesor Shi Zhenwei, seorang felo pasca doktoral di Universiti Michigan, dan ahli makmal semasa, ialah pengarang artikel ini.

Alamat kertas: https://www.php.cn/link/31bb2feb402ac789507479daf9713b00
Laman utama projek:https://www db76 92267fca4f4169c9ba2

Atas ialah kandungan terperinci Meletakkan seluruh bumi ke dalam rangkaian saraf, pasukan Universiti Beihang melancarkan model penjanaan imej penderiaan jauh global. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!