cari
RumahPeranti teknologiAIOccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

Ditulis di atas & ringkasan peribadi pengarang

Dalam beberapa tahun kebelakangan ini, tugas ramalan penghunian 3D dalam bidang pemanduan autonomi telah mendapat perhatian meluas daripada ahli akademik dan industri kerana kelebihannya yang unik. Tugasan ini menyediakan maklumat terperinci untuk perancangan dan navigasi pemanduan autonomi dengan membina semula struktur 3D persekitaran sekeliling. Walau bagaimanapun, kebanyakan kaedah arus perdana semasa bergantung pada label yang dijana berdasarkan awan titik LiDAR untuk menyelia latihan rangkaian. Dalam kajian OccNeRF baru-baru ini, pengarang mencadangkan kaedah ramalan penghunian berbilang kamera yang diselia sendiri yang dipanggil Medan Pendudukan Berparameter. Kaedah ini menyelesaikan masalah tanpa sempadan dalam pemandangan luar dan menyusun semula strategi pensampelan. Kemudian, melalui teknologi pemaparan volum (Volume Rendering), medan yang diduduki ditukar kepada peta kedalaman berbilang kamera dan diawasi oleh ketekalan fotometrik berbilang bingkai (Ralat Fotometrik). Selain itu, kaedah ini juga menggunakan model segmentasi semantik kosa kata terbuka yang telah terlatih untuk menjana label semantik 2D untuk memberikan maklumat semantik kepada bidang pekerjaan. Model pembahagian semantik leksikon terbuka ini dapat membahagikan objek yang berbeza dalam adegan dan memberikan label semantik kepada setiap objek. Dengan menggabungkan label semantik ini dengan medan penghunian, model dapat memahami persekitaran dengan lebih baik dan membuat ramalan yang lebih tepat. Secara ringkasnya, kaedah OccNeRF mencapai ramalan penghunian berketepatan tinggi dalam senario pemanduan autonomi melalui gabungan penggunaan medan penghunian berparameter, pemaparan volum dan ketekalan fotometrik berbilang bingkai, serta dengan model pembahagian semantik perbendaharaan kata terbuka. Kaedah ini menyediakan sistem pemanduan autonomi dengan lebih banyak maklumat alam sekitar dan dijangka meningkatkan keselamatan dan kebolehpercayaan pemanduan autonomi.

OccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

  • Pautan kertas: https://arxiv.org/pdf/2312.09243.pdf
  • Pautan kod: https://github.com/LinShan-Bin/OccNeRF
latar belakang OccNeRF

Dalam beberapa tahun kebelakangan ini, dengan perkembangan pesat teknologi kecerdasan buatan, kemajuan besar telah dicapai dalam bidang pemanduan autonomi. Persepsi 3D adalah asas untuk pemanduan autonomi dan menyediakan maklumat yang diperlukan untuk perancangan dan membuat keputusan seterusnya. Dalam kaedah tradisional, lidar boleh menangkap data 3D yang tepat secara langsung, tetapi kos penderia yang tinggi dan titik pengimbasan yang jarang mengehadkan penggunaan praktikalnya. Sebaliknya, kaedah penderiaan 3D berasaskan imej adalah kos rendah dan berkesan serta telah mendapat perhatian yang semakin meningkat. Berbilang kamera Pengesanan objek 3D telah menjadi aliran utama tugas memahami pemandangan 3D sejak sekian lama, tetapi ia tidak dapat mengatasi kategori tanpa had di dunia nyata dan mengalami pengedaran data ekor panjang

.

Ramalan penghunian 3D boleh mengimbangi kekurangan ini dengan membina semula geometri pemandangan sekeliling secara langsung melalui input berbilang paparan. Kebanyakan kaedah sedia ada memfokuskan pada reka bentuk model dan pengoptimuman prestasi, bergantung pada label yang dijana oleh awan titik LiDAR untuk menyelia latihan rangkaian, yang tidak tersedia dalam sistem berasaskan imej. Dalam erti kata lain, kami masih perlu menggunakan kenderaan pengumpulan data yang mahal untuk mengumpul data latihan dan membazirkan sejumlah besar data sebenar tanpa anotasi berbantukan awan titik LiDAR, yang mengehadkan pembangunan ramalan penghunian 3D pada tahap tertentu. Oleh itu meneroka ramalan penghunian 3D yang diselia sendiri adalah arah yang sangat berharga.

Penjelasan terperinci algoritma OccNeRF

Rajah berikut menunjukkan proses asas kaedah OccNeRF. Model ini mengambil imej berbilang kamera

sebagai input, mula-mula menggunakan tulang belakang 2D untuk mengekstrak ciri imej N, dan kemudian secara langsung memperoleh ciri 3D melalui unjuran mudah dan interpolasi dwilinear (di bawah ruang berparameter ), dan akhirnya melalui 3D The Rangkaian CNN mengoptimumkan ciri 3D dan ramalan output. Untuk melatih model, kaedah OccNeRF menjana peta kedalaman bingkai semasa melalui pemaparan volum dan memperkenalkan bingkai sebelumnya dan seterusnya untuk mengira kehilangan fotometrik. Untuk memperkenalkan lebih banyak maklumat masa, OccNeRF menggunakan medan penghunian untuk memaparkan peta kedalaman berbilang bingkai dan mengira fungsi kehilangan. Pada masa yang sama, OccNeRF juga memaparkan peta semantik 2D secara serentak dan diselia oleh Model Segmentasi Semantik Leksikon Terbuka.

OccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

Medan Penghunian Berparameter

Medan Penghunian Berparameter dicadangkan untuk menyelesaikan masalah

jurang julat persepsiantara kamera dan grid yang diduduki. Secara teorinya, kamera boleh menangkap objek pada jarak tak terhingga, manakala model ramalan penghunian sebelumnya hanya mempertimbangkan ruang yang lebih dekat (contohnya, dalam 40 m). Dalam kaedah diselia, model boleh belajar untuk mengabaikan objek jauh berdasarkan isyarat penyeliaan, jika hanya ruang dekat masih dipertimbangkan, kehadiran sejumlah besar objek luar dalam imej akan mempunyai negatif; kesan ke atas proses pengoptimuman. Berdasarkan ini, OccNeRF mengguna pakai Medan Pendudukan Berparameter untuk memodelkan julat pemandangan luar tanpa had.

OccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

Ruang parameterisasi dalam OccNeRF dibahagikan kepada dalaman dan luaran. Ruang dalam ialah pemetaan linear bagi koordinat asal, mengekalkan resolusi tinggi manakala ruang luar mewakili julat tak terhingga. Secara khusus, OccNeRF membuat perubahan berikut pada koordinat titik tengah dalam ruang 3D:

di mana ialah koordinat , ialah parameter boleh laras, menunjukkan nilai sempadan ruang dalaman yang sepadan juga boleh laras Parameter terlaras mewakili bahagian ruang dalaman yang diduduki. Apabila menjana medan penghunian berparameter, sampel pertama OccNeRF dalam ruang berparameter, memperoleh koordinat asal melalui transformasi songsang, kemudian menayangkan koordinat asal pada satah imej, dan akhirnya memperoleh medan penghunian melalui persampelan dan konvolusi tiga dimensi.

Anggaran Kedalaman Berbilang bingkai

Untuk melatih rangkaian penghunian, OccNeRF memilih untuk menggunakan pemaparan volum untuk menukar penghunian kepada peta kedalaman dan mengawasinya melalui fungsi kehilangan fotometrik. Strategi pensampelan adalah penting semasa memaparkan peta kedalaman. Dalam ruang berparameter, jika anda membuat sampel secara langsung secara seragam berdasarkan kedalaman atau paralaks, titik pensampelan akan diagihkan secara tidak sekata dalam ruang dalaman atau luaran, yang akan menjejaskan proses pengoptimuman. Oleh itu, OccNeRF bercadang untuk membuat sampel secara langsung secara seragam dalam ruang berparameter di bawah premis bahawa pusat kamera berdekatan dengan asal. Selain itu, OccNeRF membuat dan menyelia peta kedalaman berbilang bingkai semasa latihan.

Rajah di bawah menunjukkan secara visual kelebihan menggunakan perwakilan spatial parametrik. (Baris ketiga menggunakan ruang berparameter, baris kedua tidak.)

OccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

Penjanaan Label Semantik

OccNeRF menggunakan GroundedSAM (Grounding DINO + SAM) yang telah dilatih untuk menjana label semantik 2D. Untuk menjana label berkualiti tinggi, OccNeRF menggunakan dua strategi Satu ialah

pengoptimuman perkataan segera, yang menggantikan kategori yang tidak jelas dalam nuScenes dengan penerangan yang tepat. Tiga strategi digunakan dalam OccNeRF untuk mengoptimumkan perkataan segera: penggantian perkataan yang tidak jelas (kereta digantikan dengan sedan), perkataan-ke-perkataan berbilang perkataan (buatan manusia digantikan dengan bangunan, papan iklan dan jambatan), dan pengenalan maklumat tambahan (basikal diganti dengan basikal, penunggang basikal). Yang kedua ialah menentukan kategori berdasarkan keyakinan bingkai pengesanan dalam Grounding DINO dan bukannya keyakinan piksel demi piksel yang diberikan oleh SAM. Kesan label semantik yang dijana oleh OccNeRF adalah seperti berikut:

OccNeRF: Tiada pengawasan data lidar diperlukan sama sekalihasil percubaan OccNeRF

OccNeRF menjalankan eksperimen pada nuScenes dan kebanyakannya menyelesaikan anggaran kedalaman penyeliaan sendiri berbilang paparan dan ramalan tugasan 3D 3D

Anggaran kedalaman seliaan sendiri berbilang paparan

prestasi anggaran kedalaman seliaan sendiri berbilang paparan OccNeRF pada nuScenes ditunjukkan dalam jadual di bawah. Dapat dilihat bahawa OccNeRF berdasarkan pemodelan 3D dengan ketara mengatasi kaedah 2D dan juga mengatasi SimpleOcc, sebahagian besarnya disebabkan oleh julat spatial tanpa had yang OccNeRF model untuk pemandangan luar.

Beberapa visualisasi dalam kertas adalah seperti berikut: OccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

Ramalan penghunian 3DOccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

Prestasi ramalan penghunian 3D OccNeRF pada nuScenes ditunjukkan dalam jadual di bawah. Memandangkan OccNeRF tidak menggunakan data beranotasi sama sekali, prestasinya masih ketinggalan berbanding kaedah yang diawasi. Walau bagaimanapun, beberapa kategori, seperti permukaan boleh dipandu dan buatan manusia, telah mencapai prestasi yang setanding dengan kaedah yang diselia.

Beberapa visualisasi dalam artikel tersebut adalah seperti berikut: OccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

OccNeRF: Tiada pengawasan data lidar diperlukan sama sekali Ringkasan

Pada masa banyak pengeluar kereta cuba membuang ribuan penderia LiDAR yang tidak berlabel, bagaimana untuk membuat imej yang baik. data adalah subjek isu penting. Dan OccNeRF telah membawa kami percubaan yang berharga.

Pautan asal: https://mp.weixin.qq.com/s/UiYEeauAGVtT0c5SB2tHEAOccNeRF: Tiada pengawasan data lidar diperlukan sama sekali

Atas ialah kandungan terperinci OccNeRF: Tiada pengawasan data lidar diperlukan sama sekali. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Artikel ini dikembalikan pada:51CTO.COM. Jika ada pelanggaran, sila hubungi admin@php.cn Padam
Carta 10 kuasa bi yang paling banyak digunakan - Analytics VidhyaCarta 10 kuasa bi yang paling banyak digunakan - Analytics VidhyaApr 16, 2025 pm 12:05 PM

Memanfaatkan kekuatan visualisasi data dengan carta Microsoft Power BI Dalam dunia yang didorong oleh data hari ini, dengan berkesan menyampaikan maklumat yang rumit kepada penonton bukan teknikal adalah penting. Visualisasi data jambatan jurang ini, mengubah data mentah i

Sistem Pakar di AISistem Pakar di AIApr 16, 2025 pm 12:00 PM

Sistem Pakar: menyelam yang mendalam ke dalam kuasa membuat keputusan AI Bayangkan mempunyai akses kepada nasihat pakar mengenai apa -apa, dari diagnosis perubatan kepada perancangan kewangan. Itulah kuasa sistem pakar dalam kecerdasan buatan. Sistem ini meniru pro

Tiga coder getaran terbaik memecahkan revolusi AI ini dalam kodTiga coder getaran terbaik memecahkan revolusi AI ini dalam kodApr 16, 2025 am 11:58 AM

Pertama sekali, jelas bahawa ini berlaku dengan cepat. Pelbagai syarikat bercakap mengenai perkadaran kod mereka yang kini ditulis oleh AI, dan ini semakin meningkat pada klip pesat. Terdapat banyak anjakan pekerjaan

Runway AI's Gen-4: Bagaimanakah montaj AI boleh melampaui kebodohanRunway AI's Gen-4: Bagaimanakah montaj AI boleh melampaui kebodohanApr 16, 2025 am 11:45 AM

Industri filem, bersama semua sektor kreatif, dari pemasaran digital ke media sosial, berdiri di persimpangan teknologi. Sebagai kecerdasan buatan mula membentuk semula setiap aspek bercerita visual dan mengubah landskap hiburan

Bagaimana untuk mendaftar selama 5 hari kursus percuma ISRO AI? - Analytics VidhyaBagaimana untuk mendaftar selama 5 hari kursus percuma ISRO AI? - Analytics VidhyaApr 16, 2025 am 11:43 AM

Kursus Online AI/ML percuma ISRO: Gerbang ke Inovasi Teknologi Geospatial Pertubuhan Penyelidikan Angkasa India (ISRO), melalui Institut Pengesan Jauh India (IIRS), menawarkan peluang yang hebat untuk pelajar dan profesional

Algoritma Carian Tempatan di AIAlgoritma Carian Tempatan di AIApr 16, 2025 am 11:40 AM

Algoritma Carian Tempatan: Panduan Komprehensif Merancang acara berskala besar memerlukan pengagihan beban kerja yang cekap. Apabila pendekatan tradisional gagal, algoritma carian tempatan menawarkan penyelesaian yang kuat. Artikel ini meneroka pendakian bukit dan simul

Terbuka beralih fokus dengan GPT-4.1, mengutamakan pengekodan dan kecekapan kosTerbuka beralih fokus dengan GPT-4.1, mengutamakan pengekodan dan kecekapan kosApr 16, 2025 am 11:37 AM

Pelepasan ini termasuk tiga model yang berbeza, GPT-4.1, GPT-4.1 Mini dan GPT-4.1 Nano, menandakan langkah ke arah pengoptimuman khusus tugas dalam landskap model bahasa yang besar. Model-model ini tidak segera menggantikan antara muka yang dihadapi pengguna seperti

Prompt: CHATGPT menjana pasport palsuPrompt: CHATGPT menjana pasport palsuApr 16, 2025 am 11:35 AM

Gergasi Chip Nvidia berkata pada hari Isnin ia akan memulakan pembuatan superkomputer AI - mesin yang boleh memproses sejumlah besar data dan menjalankan algoritma kompleks - sepenuhnya dalam A.S. untuk kali pertama. Pengumuman itu datang selepas Presiden Trump Si

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
4 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
4 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
1 bulan yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Arahan sembang dan cara menggunakannya
1 bulan yang laluBy尊渡假赌尊渡假赌尊渡假赌

Alat panas

Versi Mac WebStorm

Versi Mac WebStorm

Alat pembangunan JavaScript yang berguna

EditPlus versi Cina retak

EditPlus versi Cina retak

Saiz kecil, penyerlahan sintaks, tidak menyokong fungsi gesaan kod

Dreamweaver Mac版

Dreamweaver Mac版

Alat pembangunan web visual

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Integrasikan Eclipse dengan pelayan aplikasi SAP NetWeaver.