Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Apakah sebenarnya medan sinaran saraf?

Medan sinaran: Pengagihan tenaga yang terbentuk semasa perambatan dan pantulan cahaya yang dipancarkan oleh sumber cahaya di tempat kejadian. Dalam istilah orang awam, ia adalah fungsi yang merekodkan maklumat sinaran dalam arah tertentu di lokasi tertentu dalam ruang Maklumat sinaran (atau pengedaran tenaga) sebenarnya adalah warna, kecerahan, bayang-bayang dan maklumat lain. Arah di sini memerlukan perhatian tambahan, ia adalah salah satu faktor penting untuk NeRF mencapai pembinaan semula sebenar!

Ini membawa kepada konsep medan sinaran saraf.
Medan sinaran saraf: Gunakan rangkaian saraf untuk menyimpan ruangkedudukanradiasi dalam sebarang arah. Penerangan dalam artikel asal adalah seperti berikut:

Formula yang lebih piawai dinyatakan seperti berikut:

Masukkan kedudukan 3D (x, y, z) dan arah tontonan 2D (), dan outputnya ialah ketumpatan warna dan volum

NeRF Keputusan rangkaian khusus merujuk kepada teks asal seperti berikut:

• Input x koordinat 3D ke dalam rangkaian pertama fσ, termasuk 8 lapisan bersambung sepenuhnya, 256 neuron setiap lapisan, pengaktifan ReLU;
Rangkaian fσ mengeluarkan ketumpatan volum σ dan A vektor 256 dimensi, yang dihantar ke fc (satu lapisan, 128 saluran, pengaktifan ReLU) dengan arah tontonan d untuk meramalkan RGB

Seperti yang dapat dilihat; daripada di atas, NeRF dimodelkan secara tersirat kerana model disimpan dalam MLP Inside, model adalah parameter MLP, yang berbeza daripada awan titik sebelumnya dan pemodelan mesh (awan titik/jaringan boleh terus melihat model). NeRF mesti menanyakan titik tiga dimensi satu demi satu dan kemudian menjadikannya imej.

kaedah tontonanatau kaedah rendering ini dipanggil rendering volum.

Sebelum melihat pemaparan volum. Mari kita lihat dahulu kesan rangkaian:

Dapat dilihat bahawa warna berbeza di bawah sudut tontonan yang berbeza! Ini adalah salah satu kelebihan NeRF yang sangat penting berbanding pembinaan semula tradisional ~

Teras NeRF: pemaparan volum

Mari kita masukkan titik teras kedua NeRF - pemaparan volum. Penyampaian volum ialah kaedah yang digunakan untuk menjadikan warna dan ketumpatan kepada imej 2D!

Rajah skema adalah seperti berikut: Rajah a menunjukkan sinar yang dipancarkan dari kedudukan tengah optik kamera Terdapat titik pensampelan pada sinaran Titik pensampelan dan arahan dihantar ke MLP untuk mendapatkan warna dan ketumpatan isipadu. Rajah c menunjukkan lengkung taburan ketumpatan isipadu sepanjang sinar, yang diperolehi melalui pensampelan Warna piksel boleh diperolehi dengan menyepadukan lengkung. Proses ini ialah pemaparan volum

Untuk meringkaskan langkah pemaparan volum:

Pancarkan sinar yang menembusi setiap piksel dari pusat optik kamera, dan ambil titik pensampelan tiga dimensi pada sinar
• Hantar titik pensampelan; koordinat dan arah sudut pandangan ke dalam MLP mengira ketumpatan warna dan kelantangan;
• menyepadukan (tindanan) maklumat warna mengikut ketumpatan volum untuk membentuk imej 2D

Formula untuk pemaparan volum adalah seperti berikut:

sudah tentu, versi diskret formula sebenarnya digunakan:

Proses pembinaan semula tersirat

Selepas bercakap tentang medan sinaran saraf dan rendering volum, kini kami memulakan proses pembinaan semula yang lengkap~

Sebelum selesai, membentuk saluran paip masih terdapat dua masalah yang perlu diselesaikan:

Untuk menyelesaikan dua masalah di atas, NeRF mencadangkan pengekodan kedudukan dan proses persampelan berstrata

Pengekodan kedudukan:

Kertas secara intuitif menunjukkan perbandingan kesan pengekodan kedudukan:

Dapat dilihat bahawa tanpa pengekodan kedudukan, model tidak dapat menyatakan maklumat geometri dan tekstur frekuensi tinggi~

Penggunaan berbilang lapisan:

Proses latihan adalah seperti berikut:

eksperimen dan ringkasan

Petunjuk penilaian:

Tetapan eksperimen:

Hasil eksperimen dapat dilihat bahawa astigmatisme pada bola pelbagai bahan juga boleh diungkapkan dengan baik~

Percubaan ablasi :

Ringkasan

Medan sinaran saraf yang dicadangkan dalam artikel ini memancarkan sinar pensampelan melalui piksel dari pusat optik kamera, memilih titik pada sinar, menggunakan MLP untuk memetakan kedudukan tiga dimensinya dan melihat arah kepada ketumpatan volum dan warna, dan kemudian tindanan pemaparan volum mensampel ketumpatan volum dan warna pada sinar untuk mendapatkan nilai piksel. Ralat antara nilai piksel dan imej GT dikira dan kemudian disebarkan kembali untuk mengoptimumkan parameter MLP. Makalah ini menggunakan kaedah pembinaan semula tersirat untuk mencapai pembinaan semula model fotorealistik dan rendering.

Kecacatan:
• Perlahan rendering dan kelajuan latihan;
• keperluan tinggi pada bilangan dan pengedaran tontonan

sukar untuk dikembangkan ke latar belakang atau adegan yang lebih besar.

🎜Pautan asal: https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g🎜

Atas ialah kandungan terperinci Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!