NeRF dan pemanduan autonomi masa lalu dan sekarang, ringkasan hampir 10 kertas kerja!

Sejak Neural Radiance Fields dicadangkan pada tahun 2020, bilangan kertas kerja yang berkaitan telah meningkat secara eksponen. Ia bukan sahaja menjadi hala tuju cabang penting pembinaan semula tiga dimensi, tetapi juga secara beransur-ansur menjadi aktif dalam sempadan penyelidikan sebagai alat penting untuk autonomi. memandu.

NeRF tiba-tiba muncul dalam tempoh dua tahun yang lalu, terutamanya kerana ia melangkau pengekstrakan dan pemadanan titik ciri, geometri dan triangulasi epipolar, PnP serta Pelarasan Bundle dan langkah lain dalam saluran paip pembinaan semula CV tradisional, malah melangkau pembinaan semula jaringan, pemetaan dan pengesanan cahaya Pelajari medan sinaran terus daripada imej input 2D, dan kemudian keluarkan imej yang diberikan daripada medan sinaran yang menghampiri foto sebenar. Dalam erti kata lain, biarkan model 3D tersirat berdasarkan rangkaian saraf sesuai dengan imej 2D dari perspektif tertentu, dan menjadikannya mempunyai sintesis dan keupayaan perspektif baharu. Pembangunan NeRF juga berkait rapat dengan pemanduan autonomi, yang secara khusus dicerminkan dalam aplikasi pembinaan semula pemandangan sebenar dan simulator pemanduan autonomi. NeRF mahir dalam menghasilkan imej peringkat foto, jadi pemandangan jalanan yang dimodelkan dengan NeRF boleh memberikan data latihan yang sangat realistik untuk pemanduan autonomi, peta NeRF boleh diedit untuk menggabungkan bangunan, kenderaan dan pejalan kaki ke pelbagai sudut yang sukar ditangkap dalam realiti. kes boleh digunakan untuk menguji prestasi algoritma seperti persepsi, perancangan, dan pengelakan halangan. Oleh itu, NeRF ialah cabang pembinaan semula 3D dan alat pemodelan Menguasai NeRF telah menjadi kemahiran yang amat diperlukan untuk penyelidik melakukan pembinaan semula atau pemanduan autonomi.

Hari ini, saya akan menyusun kandungan yang berkaitan dengan Nerf dan pemanduan autonomi. Hampir 11 artikel akan membawa anda meneroka masa lalu dan masa kini mengenai pemanduan Nerf dan autonomi

1 kandungan ialah: NeRF: Perwakilan Medan Sinaran Neural Adegan untuk Sintesis Pandangan. Dalam artikel pertama ECCV2020

, kaedah Nerf dicadangkan, yang menggunakan set paparan input jarang untuk mengoptimumkan fungsi adegan volum berterusan asas untuk mencapai hasil paparan terkini untuk mensintesis adegan kompleks. Algoritma ini menggunakan rangkaian dalam yang bersambung sepenuhnya (bukan konvolusi) untuk mewakili pemandangan Input ialah satu koordinat 5D berterusan (termasuk kedudukan spatial (x, y, z) dan arah tontonan (θ, ξ)), dan output. ialah kedudukan spatial ketumpatan volum dan sinaran pancaran berkaitan paparan

NERF menggunakan imej pose 2D sebagai penyeliaan, sebaliknya, ia mempelajari set parameter tersirat dengan mempelajari pengekodan kedudukan dan menggunakan warna imej secara berterusan sebagai penyeliaan, mewakili adegan 3D Kompleks. Melalui perwakilan tersirat, rendering dari mana-mana perspektif boleh diselesaikan.

2.Mip-NeRF 360

CVPR2020 kandungan penyelidikan adalah mengenai adegan tanpa sempadan luar. Antaranya, Mip-NeRF 360: Medan sinaran saraf anti-aliasing tanpa had adalah salah satu hala tuju penyelidikan

Pautan kertas: https://arxiv.org/pdf/2111.12077.pdf

Walaupun medan sinaran saraf (NeRF) sudah pun dalam objek dan kawasan sempadan kecil ruang, tetapi ia sukar dicapai dalam adegan "tanpa sempadan" di mana kamera mungkin dihalakan ke mana-mana arah dan kandungan mungkin wujud pada sebarang jarak. Dalam kes ini, model seperti NeRF sedia ada selalunya menghasilkan pemaparan kabur atau resolusi rendah (disebabkan oleh perincian dan skala objek berdekatan dan jauh yang tidak seimbang), lebih perlahan untuk dilatih dan mengalami pembinaan semula yang lemah daripada set imej kecil muncul kerana kekaburan tugasan yang wujud dalam adegan besar. Makalah ini mencadangkan lanjutan mip-NeRF, varian NeRF yang menyelesaikan masalah pensampelan dan pengaliasan, yang menggunakan parameterisasi pemandangan tak linear, penyulingan dalam talian dan penyelaras berasaskan herotan baharu untuk mengatasi masalah yang disebabkan oleh cabaran yang tidak terhad. Ia mencapai pengurangan 57% dalam ralat min kuasa dua berbanding mip-NeRF dan mampu menjana pandangan sintetik yang realistik dan peta kedalaman terperinci untuk adegan dunia nyata yang sangat kompleks dan tanpa sempadan.

3.Instant-NGP

Kandungan yang perlu ditulis semula ialah: "Ekspresi adegan hibrid voxel eksplisit ditambah ciri tersirat (SIGGRAPH) 2020" pengekodan mempunyai resolusi 202 primitif neurografi segera

yang perlu ditulis semula ialah: Pautan: https://nvlabs.github.io/instant-ngp

Mari kita lihat dahulu persamaan dan perbezaan antara Instant-NGP dan NeRF:

1. Juga berdasarkan pemaparan volum
2. Berbeza daripada MLP NeRF, NGP menggunakan grid voxel berparameter jarang sebagai ekspresi adegan
3. Berdasarkan kecerunan, ia mengoptimumkan pemandangan dan MLP pada masa yang sama (satu MLP digunakan sebagai penyahkod) .

Dapat dilihat bahawa rangka kerja yang besar masih sama Perbezaan yang paling penting ialah NGP memilih grid voxel berparameter sebagai ekspresi adegan. Melalui pembelajaran, parameter yang disimpan dalam voxel menjadi bentuk kepadatan pemandangan. Masalah terbesar dengan MLP ialah ia lambat. Untuk membina semula pemandangan dengan kualiti yang tinggi, rangkaian yang agak besar selalunya diperlukan, dan ia akan mengambil banyak masa untuk melalui rangkaian bagi setiap titik pensampelan. Interpolasi dalam grid adalah lebih pantas. Walau bagaimanapun, jika grid ingin menyatakan adegan berketepatan tinggi, ia memerlukan voxel berketumpatan tinggi, yang akan menyebabkan penggunaan memori yang sangat tinggi. Memandangkan terdapat banyak tempat di tempat kejadian yang kosong, NVIDIA mencadangkan struktur yang jarang untuk menyatakan adegan itu. F2-NeRF

F2-NeRF: Latihan Medan Sinaran Neural Pantas dengan Trajektori Kamera Percuma

Pautan kertas: https://totoro97.github.io /projects/f2-nerf/

mencadangkan NeRF berasaskan grid baharu, dipanggil F2-NeRF (Fast Free NeRF), untuk sintesis paparan baharu, yang boleh mencapai trajektori kamera input sewenang-wenangnya dan hanya memerlukan beberapa minit untuk dilatih. Rangka kerja latihan NeRF berasaskan grid pantas sedia ada, seperti Instant NGP, Plenoxels, DVGO atau TensoRF, direka terutamanya untuk adegan bersempadan dan bergantung pada pelesenan spatial untuk mengendalikan adegan tanpa sempadan. Dua kaedah meledingkan spatial sedia ada yang digunakan secara meluas hanya menyasarkan trajektori yang menghadap ke hadapan atau 360◦ trajektori berpusatkan objek, tetapi tidak boleh mengendalikan trajektori sewenang-wenangnya. Artikel ini menjalankan kajian mendalam tentang mekanisme meledingkan ruang untuk mengendalikan adegan tanpa sempadan. Kami selanjutnya mencadangkan kaedah meledingkan spatial baharu yang dipanggil meledingkan perspektif, yang membolehkan kami mengendalikan trajektori sewenang-wenangnya dalam rangka kerja NeRF berasaskan grid. Eksperimen yang meluas menunjukkan bahawa F2-NeRF mampu menghasilkan imej berkualiti tinggi menggunakan pelesenan perspektif yang sama pada dua set data standard yang dikumpul dan set data trajektori percuma baharu.

5.MobileNeRF

aplikasi rendering masa nyata pada bahagian mudah alih, merealisasikan fungsi Nerf mengeksport CV2, dan teknologi ini telah diguna pakai PR202 oleh persidangan ini.

MobileNeRF: Memanfaatkan Talian Paip Rasterisasi Poligon untuk Rendering Medan Neural yang Cekap pada Seni Bina Mudah Alih.

Apa yang perlu ditulis semula ialah: https://arxiv.org/pdf/2208.00277.pdf

Medan Sinaran Neural (NeRF) terbukti Keupayaan menakjubkan untuk mensintesis imej adegan 3D daripada paparan novel. Walau bagaimanapun, mereka bergantung pada algoritma pemaparan volumetrik khusus berdasarkan perarakan sinar yang tidak sepadan dengan keupayaan perkakasan grafik yang digunakan secara meluas. Kertas kerja ini memperkenalkan perwakilan NeRF berasaskan poligon bertekstur baharu yang boleh mensintesis imej baharu dengan cekap melalui saluran paip pemaparan standard. NeRF diwakili sebagai satu set poligon yang teksturnya mewakili kelegapan binari dan vektor ciri. Penyampaian poligon tradisional menggunakan penimbal-z menghasilkan imej di mana setiap piksel mempunyai ciri yang ditafsirkan oleh MLP bergantung pada paparan kecil yang berjalan dalam pelorek serpihan untuk menghasilkan warna piksel akhir. Pendekatan ini membolehkan NeRF menghasilkan menggunakan saluran paip rasterisasi poligon tradisional yang menyediakan keselarian tahap piksel besar-besaran, membolehkan kadar bingkai interaktif merentas pelbagai platform pengkomputeran, termasuk telefon mudah alih.

Penyetempatan visual masa nyata dan kerja pemetaan NeRF kami telah disertakan dalam CVPR2023

Co-SLAM: Koordinat Bersama dan Pengekodan Parametrik Jarang untuk SLAM Masa Nyata Neural

Pautan kertas: https://arxiv.org/pdf/2304.14377.pdf Co-SLAM ialah sistem RGB-D SLAM masa nyata yang menggunakan perwakilan tersirat saraf untuk pengesanan kamera dan pembinaan semula permukaan ketepatan tinggi. Co-SLAM mewakili pemandangan sebagai grid cincang berbilang resolusi untuk mengeksploitasi keupayaannya untuk menumpu dan mewakili ciri tempatan dengan cepat. Di samping itu, untuk menyepadukan prior konsistensi permukaan, Co-SLAM menggunakan kaedah pengekodan blok, yang membuktikan bahawa ia boleh melengkapkan penyiapan pemandangan dengan hebat di kawasan yang tidak diperhatikan. Pengekodan bersama kami menggabungkan kelebihan kelajuan Co-SLAM, pembinaan semula kesetiaan tinggi dan ketekalan permukaan melalui strategi pensampelan sinar, Co-SLAM dapat menggabungkan pelarasan secara global kepada semua bingkai utama.

#🎜🎜🎜##🎜🎜🎜 🎜#

7.Neuralangelo

Kaedah pembinaan semula permukaan NeRF terbaik semasa (CVPR2023)

#🎜##🎜🎜🎜##🎜🎜🎜 #Kandungan yang ditulis semula adalah seperti berikut: Penyampaian saraf berasaskan imej telah ditunjukkan mampu membina semula permukaan saraf untuk memulihkan struktur 3D yang padat. Walau bagaimanapun, kaedah semasa masih menghadapi kesukaran untuk memulihkan struktur terperinci adegan dunia sebenar. Untuk menyelesaikan masalah ini, kajian ini mencadangkan kaedah yang dipanggil Neularangelo, yang menggabungkan keupayaan perwakilan grid cincang 3D berbilang resolusi dengan pemaparan permukaan saraf. Dua elemen utama pendekatan ini ialah: (1) kecerunan berangka yang digunakan untuk mengira terbitan tertib tinggi bagi operasi pelicinan, dan (2) kawalan ke atas grid cincang pada tahap perincian yang berbeza daripada kasar kepada halus.

Walaupun tanpa input tambahan seperti kedalaman, Neularangelo masih mampu memulihkan struktur permukaan 3D yang padat dengan berkesan daripada imej berbilang paparan. Kesetiaan sangat dipertingkatkan berbanding kaedah sebelumnya, membolehkan pembinaan semula pemandangan berskala besar terperinci daripada tangkapan video RGB!

#🎜🎜🎜##🎜🎜🎜 🎜#

8.MARS

Alat simulasi NeRF pemacu autonomi sumber terbuka pertama.

Apa yang perlu ditulis semula ialah: https://arxiv.org/pdf/2307.15058.pdf

Kereta pandu sendiri boleh memandu dengan lancar dalam keadaan biasa percaya bahawa, simulasi sensor realistik akan memainkan peranan penting dalam menyelesaikan situasi sudut yang tinggal. Untuk tujuan ini, MARS mencadangkan simulator pemanduan autonomi berdasarkan medan sinaran saraf. Berbanding dengan karya sedia ada, MARS mempunyai tiga ciri tersendiri: (1) Kesedaran contoh. Simulator memodelkan kejadian latar depan dan persekitaran latar belakang secara berasingan menggunakan rangkaian berasingan supaya ciri statik (cth., saiz dan rupa) dan dinamik (cth., trajektori) kejadian boleh dikawal secara berasingan. (2) Modulariti. Simulator membenarkan penukaran fleksibel antara tulang belakang berkaitan NeRF moden yang berbeza, strategi pensampelan, mod input, dsb. Reka bentuk modular ini diharapkan dapat menggalakkan kemajuan akademik dan penggunaan perindustrian simulasi pemanduan autonomi berasaskan NeRF. (3) Nyata. Simulator disediakan untuk hasil fotorealistik terkini dengan pemilihan modul yang optimum.

Perkara yang paling penting ialah: sumber terbuka!

9.UniOcc

for kandungan yang perlu ditulis semula, "NERF dan Rangkaian Penghunian 3D, Cabaran AD2023"

UniOCC: Menyatukan ramalan penghunian 3D yang berpusatkan penglihatan dengan rendering geometri dan semantik.

Pautan kertas: https://arxiv.org/abs/2306.09117

UniOCC ialah kaedah ramalan penghunian 3D bertumpu penglihatan. Kaedah ramalan penghunian tradisional terutamanya menggunakan label penghunian 3D untuk mengoptimumkan ciri unjuran ruang 3D Walau bagaimanapun, proses penjanaan label ini adalah rumit dan mahal, bergantung pada anotasi semantik 3D dan dihadkan oleh resolusi voxel dan tidak dapat menyediakan ruang yang terperinci. Semantik. Untuk menangani isu ini, kertas kerja ini mencadangkan kaedah ramalan penghunian bersatu (UniOcc) baharu yang secara eksplisit mengenakan kekangan geometri spatial dan menambah penyeliaan semantik yang terperinci melalui pemaparan sinar volum. Pendekatan ini meningkatkan prestasi model dengan ketara dan menunjukkan potensi dalam mengurangkan kos anotasi manual. Memandangkan kerumitan pelabelan penghunian 3D, kami memperkenalkan lagi rangka kerja guru-murid (DTS) pengesan mendalam untuk menggunakan data tidak berlabel untuk meningkatkan ketepatan ramalan. Penyelesaian kami mencapai skor mIoU sebanyak 51.27% dalam ranking rasmi model tunggal, menduduki tempat ketiga dalam cabaran ini

10. Dihasilkan oleh produk Wowawawoow!

UniSim: Simulator penderia gelung tertutup saraf

Pautan kertas: https://arxiv.org/pdf/2308.01898.pdf

Sebab penting yang menghalang pempopularan pemanduan autonomi ialah keselamatan masih tidak mencukupi. Dunia nyata terlalu kompleks, terutamanya dengan kesan ekor panjang. Senario sempadan adalah kritikal untuk pemanduan selamat dan pelbagai tetapi sukar ditemui. Sangat sukar untuk menguji prestasi sistem pemanduan autonomi dalam senario ini kerana senario ini sukar dihadapi, dan ujian di dunia sebenar adalah sangat mahal dan berbahaya

Untuk menyelesaikan cabaran ini, kedua-dua industri dan ahli akademik telah mula memberi perhatian kepada pembangunan sistem simulasi. Pada mulanya, sistem simulasi tertumpu terutamanya pada simulasi gelagat pergerakan kenderaan/pejalan kaki lain dan menguji ketepatan modul perancangan pemanduan autonomi. Dalam beberapa tahun kebelakangan ini, tumpuan penyelidikan secara beransur-ansur beralih kepada simulasi peringkat sensor, iaitu simulasi untuk menjana data mentah seperti lidar dan imej kamera, untuk mencapai ujian hujung ke hujung sistem pemanduan autonomi daripada persepsi, ramalan kepada perancangan. .

Berbeza dengan kerja-kerja terdahulu, UniSim secara serentak telah mencapai buat kali pertama:

Realisme tinggi:

1. Boleh mensimulasikan dunia sebenar (gambar dan LiDAR) dengan tepat dan mengurangkan jurang domain diuji -simulasi gelung):
2. Boleh menjana pemandangan berbahaya yang jarang berlaku untuk menguji kenderaan tanpa pemandu, dan membenarkan kenderaan tanpa pemandu berinteraksi secara bebas dengan persekitaranSkala (boleh berskala):
3. Boleh dikembangkan dengan mudah kepada lebih banyak Untuk banyak senario, anda hanya perlu mengumpul data sekali sahaja untuk membina semula dan mensimulasikan ukuran

Kandungan yang perlu ditulis semula ialah: pembinaan sistem simulasi

UniSim mula-mula bermula daripada data yang dikumpul dalam dunia digital Bina semula adegan pemanduan autonomi, termasuk kereta, pejalan kaki, jalan raya, bangunan dan papan tanda lalu lintas. Kemudian, kawal adegan yang dibina semula untuk

simulasi

untuk menjana beberapa adegan utama yang jarang ditemui. Simulasi gelung tertutup

UniSim boleh melakukan ujian simulasi gelung tertutup Pertama, dengan mengawal tingkah laku kereta, UniSim boleh mencipta senario berbahaya dan jarang berlaku, seperti kereta tiba-tiba datang di lorong semasa. ; Kemudian, simulasi UniSim menjana data yang sepadan kemudian, menjalankan sistem pemanduan autonomi dan mengeluarkan hasil perancangan laluan mengikut keputusan perancangan laluan, kenderaan tanpa pemandu bergerak ke lokasi yang ditetapkan dan mengemas kini tempat kejadian (kenderaan tanpa pemandu dan; kedudukan kenderaan lain); kemudian kami terus membuat simulasi, menjalankan sistem pemanduan autonomi, dan mengemas kini keadaan dunia maya... Melalui ujian gelung tertutup ini, sistem pemanduan autonomi dan persekitaran simulasi boleh berinteraksi untuk mencipta pemandangan yang sepenuhnya berbeza daripada data asal

Atas ialah kandungan terperinci NeRF dan pemanduan autonomi masa lalu dan sekarang, ringkasan hampir 10 kertas kerja!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!