iPhone menghasilkan bilik 300 meter persegi dalam masa nyata, mencapai ketepatan tahap sentimeter! Penyelidikan terbaru Google: NeRF belum muflis

Reparan masa nyata 3D bagi adegan besar boleh diselesaikan dengan komputer atau telefon mudah alih.

Setiap sudut dari ruang tamu ke bilik tidur utama, bilik simpanan, dapur dan bilik mandi boleh dipaparkan secara realistik pada komputer, sama seperti merakam video sebenar.

Selain itu, anda juga boleh melengkapkan pemaparan adegan kompleks pada iPhone.

Penyelidik dari Google, Google DeepMind dan Universiti Tübingen baru-baru ini mencadangkan SMERF teknologi baharu.

Ia boleh memaparkan pemandangan pemandangan yang besar dalam masa nyata pada pelbagai peranti termasuk telefon pintar dan komputer riba.

Alamat kertas: https://arxiv.org/pdf/2312.07541.pdf

Pada asasnya, SMERF ialah kaedah berasaskan NeRFs yang bergantung kepada MERFEfficient-Kecekapan ingatan yang lebih Medan).

NeRF sudah mati?

Pada masa ini, medan Radiance telah muncul sebagai perwakilan yang berkuasa dan mudah dioptimumkan untuk membina semula dan memaparkan semula pemandangan 3D dunia sebenar fotorealistik.

Berbeza dengan perwakilan eksplisit seperti jerat dan awan titik, medan sinaran biasanya disimpan sebagai rangkaian saraf dan dipaparkan menggunakan perarakan sinar volumetrik.

Memandangkan belanjawan pengiraan yang cukup besar, rangkaian saraf boleh mewakili geometri kompleks dan kesan bergantung kepada paparan secara ringkas.

Sebagai perwakilan volumetrik, bilangan operasi yang diperlukan untuk memaparkan imej diukur dalam bilangan piksel dan bukannya bilangan primitif (cth. segi tiga), dan model berprestasi terbaik memerlukan berpuluh juta rangkaian penilaian.

Oleh itu, pendekatan masa nyata terhadap medan sinaran menjejaskan kualiti, kelajuan atau saiz perwakilan, dan masih menjadi persoalan terbuka sama ada perwakilan sedemikian boleh bersaing dengan alternatif seperti Gaussian Splatting.

Dalam penyelidikan terkini, penulis mencadangkan kaedah berskala untuk mencapai pemaparan ruang besar masa nyata kesetiaan yang lebih tinggi berbanding sebelum ini.

SMERF pemaparan masa nyata dengan ketepatan paras sentimeter

SMERF direka khas untuk mempelajari perwakilan 3D berskala besar, seperti pemaparan rumah.

Google dan penyelidik lain menggabungkan skema pembahagian model hierarki, di mana bahagian ruang yang berbeza dan parameter pembelajaran diwakili oleh MERF yang berbeza.

Ini bukan sahaja meningkatkan kapasiti model, tetapi juga mengehadkan keperluan pengiraan dan memori. Kerana perwakilan 3D yang besar seperti ini tidak boleh dipaparkan dalam masa nyata dengan NERF klasik.

Sistem koordinat tempat kejadian dengan sekatan ruang koordinat K=3 dan sub-petak rangkaian penampilan tertunda P=4 dalam SMERF

Untuk meningkatkan kualiti rendering SMERF juga, pasukan penyelidik menggunakan kaedah penyulingan "guru" -Pelajar.

Dalam kaedah ini, model Zip-Nerf (guru) berkualiti tinggi yang telah terlatih digunakan untuk melatih model (pelajar) MERF baharu.

Seperti di bawah, keseluruhan proses "pengawasan guru". Model guru menyediakan penyeliaan fotometrik dengan memberikan warna dan penyeliaan geometri dengan pemberat isipadu di sepanjang sinar kamera. Kedua-dua guru dan pelajar beroperasi pada set selang cahaya yang sama.

Pendekatan ini membolehkan penyelidik memindahkan perincian dan kualiti imej model Zip-Nerf yang berkuasa kepada struktur yang lebih cekap dan lebih pantas.

Ini amat berguna untuk apl pada peranti yang kurang berkuasa seperti telefon pintar dan komputer riba.

Penilaian eksperimen

Para penyelidik pertama kali menilai kaedah pada 4 senario utama yang diperkenalkan oleh Zip-NeRF: Berlin, Alameda, London dan New York.

Setiap adegan ini diambil dari 1,000-2,000 foto menggunakan kanta mata ikan 180°. Untuk perbandingan menyeluruh dengan 3DGS, penyelidik memangkas foto kepada 110° dan menggunakan COLMAP untuk menganggar semula parameter kamera.

Keputusan yang ditunjukkan dalam Jadual 1 menunjukkan bahawa bagi subbahagian ruang sederhana K, ketepatan kaedah terkini dengan ketara melebihi MERF dan 3DGS.

Apabila K meningkat, ketepatan pembinaan semula model bertambah baik dan hampir dengan ketepatan guru Zip-NeRFnya Perbezaan kurang daripada 0.1 PSNR dan 0.01 SSIM apabila K=5.

Para penyelidik juga mendapati bahawa penambahbaikan kuantitatif ini memandang rendah penambahbaikan kualitatif dalam ketepatan pembinaan semula, seperti yang ditunjukkan dalam Rajah 5.

Dalam adegan besar, kaedah SMERF secara konsisten memodelkan geometri nipis, tekstur frekuensi tinggi, sorotan spekular dan kandungan jauh di luar jangkauan garis dasar masa nyata.

Pada masa yang sama, penyelidik mendapati bahawa peningkatan resolusi submodel secara semula jadi meningkatkan kualiti, terutamanya dari segi tekstur frekuensi tinggi.

Malah, para penyelidik mendapati bahawa kaedah rendering terkini hampir tidak dapat dibezakan daripada Zip-NeRF, seperti yang ditunjukkan dalam Rajah 8.

Selain itu, para penyelidik menilai lagi kaedah terkini pada set data mip-NeRF 360 adegan dalaman dan luaran.

Adegan ini jauh lebih kecil daripada yang terdapat dalam set data Zip-NeRF, jadi tiada subbahagian spatial diperlukan untuk mendapatkan hasil yang berkualiti tinggi. Seperti yang ditunjukkan dalam Jadual 2, versi K=1 model mengatasi semua model masa nyata sebelumnya dalam penanda aras ini dari segi kualiti imej dan menghasilkan pada kelajuan yang setanding dengan 3DGS.

Rajah 6 dan 8 secara kualitatif menggambarkan peningkatan ini, dengan kaedah yang dicadangkan penyelidik adalah lebih baik dalam mewakili geometri dan tekstur frekuensi tinggi sambil menghapuskan pengapungan dan kabus yang mengganggu.

Halaman web boleh menghantar ruang 3D yang realistik

Setelah dilatih, SMERF boleh mencapai 6 darjah navigasi kebebasan penuh dalam penyemak imbas dan dalam masa nyata pada paparan telefon pintar dan komputer riba yang popular.

Semua orang tahu bahawa keupayaan untuk memaparkan pemandangan 3D yang besar dalam masa nyata adalah penting untuk pelbagai aplikasi, termasuk permainan video, realiti tambahan maya dan aplikasi reka bentuk dan seni bina profesional.

Sebagai contoh, dalam Peta Imersif Google, navigasi masa nyata boleh dilakukan.

Walau bagaimanapun, kaedah terkini yang dicadangkan oleh pasukan seperti Google juga mempunyai had tertentu. Walaupun SMERF mempunyai kualiti pembinaan semula dan kecekapan penyimpanan yang sangat baik, ia mengalami kos penyimpanan yang tinggi, masa pemuatan yang lama dan beban kerja latihan yang berat.

Walau bagaimanapun, kajian ini menunjukkan bahawa NeRF dan medan sinaran yang serupa masih akan mempunyai kelebihan pada masa hadapan berbanding kaedah jahitan Gaussian tiga dimensi.

Atas ialah kandungan terperinci iPhone menghasilkan bilik 300 meter persegi dalam masa nyata, mencapai ketepatan tahap sentimeter! Penyelidikan terbaru Google: NeRF belum muflis. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!