Idea baharu untuk simulasi LiDAR | LidarDM: Membantu menjana dunia 4D, pembunuh simulasi~

Tajuk asal: LidarDM: Simulasi LiDAR Generatif dalam Dunia Terhasil

Pautan kertas: https://arxiv.org/pdf/2404.02903.pdf

Pautan kod: https://github.com/vzyrianov/lidardm

Gabungan pengarang: University of Illinois, Massachusetts Institute of Technology

Idea tesis:

Kertas kerja ini memperkenalkan LidarDM, model generasi lidar novel yang mampu menghasilkan video lidar yang realistik, sedar reka letak, boleh dipercayai dari segi fizikal dan koheren dari segi masa. LidarDM mempunyai dua keupayaan yang tidak pernah berlaku sebelum ini dalam pemodelan penjanaan lidar: (1) penjanaan lidar berpandukan senario pemanduan, memberikan insentif yang ketara untuk simulasi pemanduan autonomi; (2) penjanaan awan titik lidar 4D, membolehkan penciptaan jujukan lidar koheren yang realistik dan sementara adalah mungkin. Teras model kami ialah rangka kerja penjanaan dunia 4D komprehensif novel. Khususnya, kertas kerja ini menggunakan model resapan terpendam untuk menghasilkan pemandangan 3D, menggabungkannya dengan pelakon dinamik untuk membentuk dunia 4D yang mendasari, dan kemudian menjana data persepsi laser yang realistik dalam persekitaran maya ini. Percubaan kami menunjukkan bahawa kaedah kami mengatasi algoritma bersaing dari segi kesetiaan, koheren temporal dan ketekalan reka letak. Kertas ini juga menunjukkan bahawa LidarDM boleh digunakan sebagai simulator dunia generatif untuk latihan dan menguji model persepsi.

Reka bentuk rangkaian:

Model generatif yang dibangunkan telah menarik lebih banyak perhatian dalam memproses pengedaran data dan penciptaan kandungan, seperti penjanaan imej dan video [10, 33, 52-55], penjanaan objek 3D [10,19 ,38,52], mampatan [5,29,68] dan menyunting [37,47] dan medan lain. Model generatif juga menunjukkan potensi yang sangat baik untuk simulasi [6, 11, 18, 34, 46, 60, 64, 66, 76, 82], membolehkan penciptaan senario realistik dan data deria yang berkaitan untuk latihan dan penilaian keselamatan Keupayaan kecerdasan kritikal , seperti robot dan kenderaan pandu sendiri, menghapuskan keperluan untuk pemodelan manual yang mahal di dunia sebenar. Keupayaan ini adalah penting untuk aplikasi yang bergantung pada latihan alam sekitar yang meluas atau ujian senario.

Kemajuan dalam penjanaan imej dan video bersyarat adalah luar biasa, tetapi tugas khusus untuk menjana jujukan awan titik lidar yang realistik untuk senario khusus dari segi fungsi untuk aplikasi pemanduan autonomi masih kurang diterokai. Kaedah penjanaan lidar semasa terbahagi kepada dua kategori utama, setiap satunya menghadapi cabaran tertentu.

Kaedah pemodelan penjanaan lidar semasa [8, 72, 79, 83] terhad kepada penjanaan bingkai tunggal dan tidak menyediakan cara untuk kebolehkawalan semantik dan ketekalan temporal.
1. Simulasi semula Lidar [14, 17, 46, 65, 67, 74] sangat bergantung pada aset yang dikumpul oleh pengguna atau dunia sebenar. Ini menambah kos operasi yang tinggi, mengehadkan kepelbagaian dan mengehadkan kebolehgunaan yang lebih luas.

Untuk menangani cabaran ini, kertas kerja ini mencadangkan LidarDM (Model Resapan Lidar), yang boleh mencipta video lidar yang realistik, sedar reka letak, boleh dipercayai secara fizikal dan koheren dari segi masa. Kertas kerja ini meneroka dua keupayaan baru yang belum pernah ditangani sebelum ini: (i) sintesis lidar dipandu oleh senario pemanduan, yang mempunyai potensi besar untuk simulasi pemanduan autonomi, dan (ii) bertujuan untuk menghasilkan awan titik lidar beranotasi yang realistik, awan titik lidar 4D Berjujukan sintesis. Wawasan utama dalam mencapai matlamat ini dalam kertas kerja ini terletak pada mula-mula menjana dan menggabungkan dunia 4D yang mendasari dan kemudian mencipta pemerhatian persepsi yang realistik dalam persekitaran maya ini. Untuk mencapai matlamat ini, kertas kerja ini menyepadukan kaedah penjanaan objek 3D sedia ada untuk mencipta pelakon dinamik dan membangunkan kaedah baharu untuk penjanaan pemandangan 3D berskala besar berdasarkan model resapan terpendam. Pendekatan ini mampu menghasilkan pemandangan pemanduan 3D yang realistik dan pelbagai daripada susun atur semantik zarah, dan sepanjang pengetahuan kertas ini, ia adalah percubaan pertama. Artikel ini menggunakan trajektori untuk menjana dunia 3D dan melaksanakan simulasi pancaran sinar stokastik untuk menjana jujukan lidar 4D terakhir. Seperti yang ditunjukkan dalam Rajah 1, keputusan yang dihasilkan dalam kertas ini adalah pelbagai, sejajar dengan keadaan susun atur, dan kedua-duanya realistik dan koheren dari segi masa.

Hasil eksperimen kertas ini menunjukkan bahawa imej bingkai tunggal yang dijana oleh LidarDM mempamerkan realisme dan kepelbagaian, dan prestasinya setanding dengan teknologi penjanaan titik laser bingkai tunggal tanpa jalur yang canggih. Tambahan pula, kertas kerja ini menunjukkan bahawa LidarDM mampu menghasilkan video awan titik laser yang koheren secara sementara, melangkaui garis dasar penjanaan sensor resapan yang teguh. Untuk pengetahuan terbaik kami, ini adalah kaedah penjanaan awan titik laser pertama dengan keupayaan ini. Makalah ini selanjutnya menunjukkan keupayaan penjanaan item LidarDM dengan menunjukkan persetujuan yang baik antara awan titik laser yang dijana dan awan titik laser sebenar di bawah item peta yang sepadan. Akhir sekali, kertas kerja ini menunjukkan bahawa data yang dijana menggunakan LidarDM mempamerkan jurang domain yang minimum apabila diuji dengan modul persepsi yang dilatih pada data sebenar, dan juga boleh digunakan untuk melanjutkan data latihan, meningkatkan prestasi pengesan 3D dengan ketara. Ini menyediakan prasyarat untuk menggunakan model awan titik laser yang dijana untuk mencipta persekitaran simulasi yang realistik dan boleh dikawal untuk latihan dan menguji model pemanduan.

Rajah 1: Kertas kerja ini menunjukkan LidarDM, model generatif lidar 4D novel. Video lidar yang dijana dalam artikel ini mempunyai kelebihan realisme, syarat reka letak, kredibiliti fizikal, kepelbagaian dan koheren temporal pada masa yang sama.

Rajah 2: Aplikasi LidarDM: (a) Menjana lidar sejajar dengan peta tanpa tangkapan atau pemodelan 3D (kotak berwarna menyerlahkan ketekalan antara lidar dan peta b) menyediakan data penderia kepada simulator trafik sedia ada (); Waymax [20]), membolehkannya menilai senario kritikal keselamatan daripada data penderia tulen sahaja; (c) menjana sejumlah besar data lidar dengan lokasi halangan yang boleh dikawal (dilihat sebagai label sebenar yang tersedia secara percuma) untuk menambah baik model persepsi melalui pra-latihan tanpa tangkapan dan anotasi data yang mahal.

Rajah 3: Gambaran Keseluruhan LidarDM: Memandangkan input susun atur trafik pada masa t = 0, LidarDM mula-mula menjana pelakon trafik dan adegan statik. Kemudian, artikel ini menjana pergerakan peserta trafik (pelakon) dan kenderaan sendiri, dan membina dunia 4D yang mendasari. Akhir sekali, gunakan simulasi berasaskan generatif dan fizik untuk mencipta data penderia 4D yang realistik.

Rajah 4: Proses penjanaan pemandangan 3D artikel ini. Pertama, awan titik terkumpul digunakan untuk membina semula setiap sampel mesh sebenar. Seterusnya, pengekod auto variasi (VAE) dilatih untuk memampatkan grid menjadi pengekodan tersirat. Akhir sekali, model resapan yang dikondisikan pada peta dilatih untuk mengambil sampel dalam ruang terpendam VAE untuk menjana sampel baharu.

Rajah 5: Rangkaian titisan sinar rawak untuk simulasi hingar persepsi, mempertingkatkan lagi realisme. Artikel ini menyerlahkan titik jatuh sinar berwarna merah dalam peta jarak bertopeng dan imej lidar bertopeng di atas.

Hasil eksperimen:

Rajah 6: Sampel KITTI-360 sebenar berbanding sampel tanpa syarat daripada kaedah bersaing. Visualisasi sampel UltraLiDAR diambil terus daripada kertas mereka. Berbanding dengan kaedah sebelumnya, LidarDM menjana sampel dengan lebih banyak objek menonjol yang lebih terperinci (cth., kereta, pejalan kaki), struktur 3D yang lebih jelas (cth., dinding lurus) dan susun atur jalan yang lebih realistik.

Rajah 7: Hasil kualitatif penjanaan jujukan bersyarat peta pada jujukan peta 2 Waymax [20]. Kertas ini juga menunjukkan awan titik kumulatif yang sepadan untuk menyerlahkan ketekalan temporal LidarDM.

Ringkasan:

Kertas kerja ini mencadangkan LidarDM, model penyebaran terpendam novel berdasarkan keadaan susun atur untuk menjana awan titik lidar yang realistik. Pendekatan kami membingkaikan masalah itu sebagai tugas penjanaan data persepsi dan penciptaan dunia 4D bersama, dan membangunkan model penyebaran terpendam yang baru untuk mencipta adegan 3D. Video awan titik yang terhasil adalah realistik, koheren dan sedar reka letak.

Atas ialah kandungan terperinci Idea baharu untuk simulasi LiDAR | LidarDM: Membantu menjana dunia 4D, pembunuh simulasi~. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!