Algoritma NeRF paparan tunggal S^3-NeRF menggunakan maklumat berbilang pencahayaan untuk memulihkan geometri pemandangan dan maklumat bahan.

Pada masa ini, kerja pembinaan semula imej 3D biasanya menggunakan kaedah pembinaan semula stereo berbilang pandangan (Stereo Berbilang Pandangan) yang merakam pemandangan sasaran daripada berbilang sudut pandangan (berbilang pandangan) di bawah keadaan pencahayaan semula jadi yang berterusan. Walau bagaimanapun, kaedah ini biasanya menganggap permukaan Lambertian dan mengalami kesukaran memulihkan butiran frekuensi tinggi.

Satu lagi kaedah pembinaan semula pemandangan ialah menggunakan imej yang ditangkap dari sudut pandangan tetap tetapi lampu titik berbeza. Kaedah Stereo fotometrik, sebagai contoh, ambil persediaan ini dan gunakan maklumat teduhannya untuk membina semula butiran permukaan objek bukan Lambertian. Walau bagaimanapun, kaedah pandangan tunggal sedia ada biasanya menggunakan peta biasa atau peta kedalaman untuk mewakili permukaan yang boleh dilihat, yang menyebabkan kaedah tersebut tidak dapat menerangkan bahagian belakang objek dan kawasan tersumbat, dan hanya boleh membina semula geometri pemandangan 2.5D. Selain itu, peta biasa tidak dapat mengendalikan ketakselanjaran kedalaman.

Dalam kajian baru-baru ini, penyelidik dari Universiti Hong Kong, Universiti China Hong Kong (Shenzhen), Universiti Teknologi Nanyang dan MIT-IBM Watson AI Lab mencadangkan untuk menggunakan single Lihat imej berbilang cahaya (pandangan tunggal, berbilang lampu) untuk membina semula pemandangan 3D yang lengkap.

• Pautan kertas: https://arxiv.org/abs/2210.08936
• Halaman utama kertas: https://ywq.github.io/s3nerf/
• Pautan kod: https://github.com/ywq/s3nerf

Tidak seperti kaedah paparan tunggal sedia ada berdasarkan peta biasa atau peta kedalaman, S ³-NeRF adalah berdasarkan perwakilan adegan saraf dan menggunakan maklumat teduhan dan bayangan dalam adegan untuk membina semula keseluruhan pemandangan 3D (termasuk kawasan yang boleh dilihat/tidak kelihatan). Kaedah perwakilan pemandangan saraf menggunakan perceptron berbilang lapisan (MLP) untuk memodelkan ruang 3D berterusan, memetakan titik 3D kepada atribut pemandangan seperti ketumpatan, warna, dsb. Walaupun perwakilan adegan saraf telah mencapai kemajuan yang ketara dalam pembinaan semula berbilang paparan dan sintesis pandangan baharu, ia kurang diterokai dalam pemodelan pemandangan satu pandangan. Tidak seperti kaedah berasaskan perwakilan pemandangan saraf sedia ada yang bergantung pada ketekalan foto berbilang paparan, S³-NeRF terutamanya mengoptimumkan medan saraf dengan memanfaatkan maklumat lorekan dan bayangan di bawah satu paparan.

Kami mendapati bahawa hanya memperkenalkan maklumat kedudukan sumber cahaya terus ke NeRF sebagai input tidak boleh membina semula geometri dan rupa pemandangan. Untuk memanfaatkan imej stereo fotometri yang ditangkap dengan lebih baik, kami memodelkan geometri permukaan dan BRDF secara eksplisit menggunakan medan pantulan, dan menggunakan pemaparan berasaskan fizikal untuk mengira warna titik 3D pemandangan, yang diperoleh melalui pemaparan stereo piksel dua dimensi yang sepadan dengan sinar. Pada masa yang sama, kami melakukan pemodelan boleh beza bagi keterlihatan pemandangan dan mengira keterlihatan titik dengan menjejak sinar antara titik 3D dan sumber cahaya. Walau bagaimanapun, memandangkan keterlihatan semua titik sampel pada sinar adalah mahal dari segi pengiraan, jadi kami mengoptimumkan pemodelan bayang-bayang dengan mengira keterlihatan titik permukaan yang diperoleh melalui pengesanan sinar.

Perwakilan pemandangan berdasarkan medan pantulan saraf

Kami menggunakan medan penghunian yang serupa dengan UNISURF untuk mencirikan geometri pemandangan. UNISURF memetakan koordinat titik 3D dan arah garis penglihatan kepada nilai penghunian dan warna titik melalui MLP, dan memperoleh warna piksel melalui pemaparan stereo,

N_v ialah bilangan titik pensampelan pada setiap sinar.

Untuk menggunakan maklumat lorekan dalam imej stereo fotometri dengan berkesan, S³-NeRF secara eksplisit memodelkan BRDF tempat kejadian dan menggunakan Render warna berasaskan fizikal titik 3D. Pada masa yang sama, kami memodelkan keterlihatan cahaya mata 3D dalam pemandangan untuk mengambil kesempatan daripada isyarat bayang-bayang yang kaya dalam imej, dan mendapatkan nilai piksel akhir melalui persamaan berikut.

Model Paparan Berasaskan Fizikal

Pendekatan kami mempertimbangkan permukaan bukan Lambertian dan BRDF yang berbeza-beza dari segi ruang. Nilai titik x diperhatikan dari arah garis penglihatan d di bawah sumber cahaya titik medan dekat (pl, Le) boleh dinyatakan sebagai

di mana, kami menganggap Untuk masalah pengecilan cahaya sumber cahaya titik, keamatan kejadian cahaya pada titik dikira melalui jarak antara sumber cahaya dan titik. Kami mengguna pakai model BRDF yang menganggap pantulan meresap dan pantulan spekular

untuk mewakili pantulan spekular melalui gabungan wajaran asas Gaussian (Sfera Gaussian) sfera

Pemodelan Bayangan

Bayang-bayang ialah salah satu petunjuk penting dalam pembinaan semula geometri pemandangan. Ketiga-tiga objek dalam gambar mempunyai bentuk dan rupa yang sama pada pandangan hadapan, tetapi mempunyai bentuk yang berbeza di bahagian belakang. Melalui bayang-bayang yang dihasilkan di bawah pencahayaan yang berbeza, kita dapat memerhatikan bahawa bentuk bayang-bayang adalah berbeza, yang mencerminkan maklumat geometri kawasan yang tidak kelihatan pada pandangan hadapan. Cahaya mencipta kekangan tertentu pada kontur belakang objek melalui bayang-bayang yang dipantulkan di latar belakang.

Kami memantulkan keterlihatan cahaya titik dengan mengira nilai penghunian antara titik 3D dan sumber cahaya

di mana, N_L ialah bilangan titik yang diambil sampel pada segmen garis sumber titik-cahaya.

Disebabkan oleh kos pengiraan yang besar untuk mengira keterlihatan semua N_v titik sampel oleh titik piksel sepanjang sinar (O (N _vN_L)), beberapa kaedah sedia ada menggunakan MLP untuk terus memanjangkan keterlihatan titik (O (N _v )), atau pra-ekstrak mata permukaan selepas memperoleh geometri pemandangan (O (N_L)). S³-NeRF mengira keterlihatan cahaya piksel dalam talian melalui titik permukaan yang terletak melalui pencarian akar dan menyatakan nilai piksel melalui formula berikut.

Pengoptimuman Adegan

Kaedah kami tidak memerlukan pengawasan bayang-bayang; kerugian pembinaan semula untuk pengoptimuman. Memandangkan tiada kekangan tambahan yang dibawa oleh perspektif lain dalam satu perspektif, jika strategi pensampelan yang serupa dengan UNISURF diguna pakai untuk mengurangkan julat pensampelan secara beransur-ansur, ia akan menyebabkan model mula merendahkan selepas selang pensampelan dikurangkan. Oleh itu, kami menggunakan strategi pemaparan stereo bersama dan pemaparan permukaan, menggunakan pencarian akar untuk mencari titik permukaan untuk menghasilkan warna dan mengira kehilangan L1.

Hasil eksperimen

Perbandingan dengan kaedah medan sinaran saraf

Kami mula-mula membandingkan dengan dua kaedah asas berdasarkan medan sinaran saraf (disebabkan tugas yang berbeza, kami memperkenalkan maklumat sumber cahaya dalam MLP warnanya). Anda boleh melihat bahawa mereka tidak dapat membina semula geometri pemandangan atau menjana bayang-bayang dengan tepat di bawah pencahayaan baharu.

Perbandingan dengan kaedah anggaran bentuk pandangan tunggal

Sekarang lwn. Daripada perbandingan kaedah anggaran biasa/kedalaman pandangan tunggal, kita dapat melihat bahawa kaedah kami mencapai hasil terbaik dalam kedua-dua anggaran normal dan anggaran kedalaman, dan pada masa yang sama boleh membina semula kawasan yang boleh dilihat dan tidak kelihatan di tempat kejadian.

Pembinaan semula adegan untuk latar belakang yang berbeza

Kaedah kami boleh digunakan untuk pelbagai adegan dengan keadaan latar belakang yang berbeza.

Rendering paparan baharu, menukar pencahayaan dan penyuntingan bahan

Berasaskan saraf Untuk pemodelan pemandangan medan pantulan, kami telah berjaya mengasingkan geometri/bahan/pencahayaan tempat kejadian, dsb., supaya ia boleh digunakan pada aplikasi seperti pemaparan paparan baharu, menukar pencahayaan pemandangan dan penyuntingan bahan.

Pembinaan semula adegan penggambaran sebenar

Kami merakam tiga senario sebenar untuk meneroka kepraktisannya. Kami membetulkan kedudukan kamera, menggunakan lampu suluh telefon bimbit sebagai sumber cahaya titik (sumber cahaya ambien telah dimatikan), dan mengalihkan lampu suluh pegang tangan secara rawak untuk menangkap imej di bawah sumber cahaya yang berbeza. Persediaan ini tidak memerlukan penentukuran sumber cahaya, kami menggunakan SDPS‑Net untuk mendapatkan anggaran kasar arah sumber cahaya dan memulakan kedudukan sumber cahaya dengan menganggarkan jarak relatif objek kamera dan objek sumber cahaya secara kasar. Kedudukan sumber cahaya dioptimumkan bersama dengan geometri pemandangan dan BRDF semasa latihan. Dapat dilihat bahawa walaupun dengan tetapan tangkapan data yang lebih kasual (tanpa penentukuran sumber cahaya), kaedah kami masih boleh membina semula geometri pemandangan 3D dengan baik.

Ringkasan

• S³-NeRF dengan menggunakan imej paparan tunggal yang ditangkap di bawah sumber cahaya berbilang titik untuk mengoptimumkan medan pantulan saraf untuk membina semula geometri pemandangan 3D dan maklumat bahan.
• Dengan menggunakan teduhan dan petunjuk bayang, S³-NeRF boleh memulihkan geometri kawasan yang boleh dilihat/tidak kelihatan di tempat kejadian dengan berkesan, mencapai Pembinaan semula geometri pemandangan lengkap/BRDF daripada perspektif monokular.
• Pelbagai eksperimen menunjukkan bahawa kaedah kami boleh membina semula pemandangan pelbagai geometri/bahan yang kompleks, dan boleh mengatasi latar belakang pelbagai geometri/bahan dan kuantiti cahaya/taburan sumber cahaya yang berbeza.

Atas ialah kandungan terperinci Algoritma NeRF paparan tunggal S^3-NeRF menggunakan maklumat berbilang pencahayaan untuk memulihkan geometri pemandangan dan maklumat bahan.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!