ReSimAD: Bagaimana untuk meningkatkan prestasi generalisasi model persepsi melalui data maya

Ditulis di atas & pemahaman peribadi pengarang

Perubahan domain pada tahap sensor kenderaan autonomi adalah fenomena yang sangat biasa, seperti kenderaan autonomi dalam adegan dan lokasi yang berbeza, kenderaan autonomi di bawah pencahayaan dan keadaan cuaca yang berbeza, kenderaan autonomi dilengkapi dengan peralatan sensor yang berbeza, di atas boleh dianggap sebagai perbezaan klasik dalam domain pemanduan autonomi. Perbezaan domain ini mewujudkan cabaran untuk pemanduan autonomi, terutamanya kerana model pemanduan autonomi yang bergantung pada pengetahuan domain lama sukar untuk digunakan terus ke domain baharu yang belum pernah dilihat sebelum ini tanpa kos tambahan. Oleh itu, dalam makalah ini, kami mencadangkan skim kesedaran simulasi-semula (ReSimAD) untuk menyediakan perspektif dan kaedah baharu untuk migrasi domain. Secara khusus, kami menggunakan teknologi pembinaan semula tersirat untuk mendapatkan pengetahuan domain lama dalam adegan pemanduan Tujuan proses pembinaan semula adalah untuk mengkaji cara menukar pengetahuan berkaitan domain dalam domain lama kepada perwakilan domain-invarian (Domain-invariant Representations). contoh, kami percaya bahawa perwakilan jejaring peringkat pemandangan 3D (Perwakilan Jaring 3D) ialah perwakilan invarian domain. Berdasarkan hasil yang dibina semula, kami selanjutnya menggunakan simulator untuk menjana awan titik simulasi yang lebih realistik serupa dengan domain sasaran Langkah ini bergantung pada maklumat latar belakang yang dibina semula dan penyelesaian penderia domain sasaran, dengan itu mengurangkan masa pengumpulan dan pelabelan dalam. proses penderiaan seterusnya Kos data domain baharu.

Kami mempertimbangkan tetapan merentas domain yang berbeza dalam bahagian pengesahan percubaan, termasuk Waymo-to-KITTI, Waymo-to-nuScenes, Waymo-to-ONCE, dsb. Semua tetapan merentas domain menggunakan tetapan percubaan sifar tangkapan, hanya bergantung pada jejaring latar belakang dan penderia simulasi domain sumber untuk mensimulasikan sampel domain sasaran untuk meningkatkan keupayaan generalisasi model. Keputusan menunjukkan bahawa ReSimAD boleh meningkatkan keupayaan generalisasi model persepsi kepada adegan domain sasaran, malah lebih baik daripada beberapa kaedah penyesuaian domain tanpa pengawasan.

Maklumat kertas

• Tajuk kertas: ReSimAD: Shanghai Zero-Shot 3D Domain Transfer for Autonomous Driving with Source Reconstruction and Target Simulation
• ICLR-2024 Artificial publishing
unit Artificial ICLR-2024 diterima
• Universiti Jiao Tong, Universiti Fudan, Universiti Beihang
• Alamat kertas: https://arxiv.org/abs/2309.05527
• Alamat kod: Set data simulasi dan bahagian persepsi, https://github.com/PJLab-ADG /3DTrans #resimad; Bahagian pembinaan semula domain sumber, https://github.com/pjlab-ADG/neuralsim; Bahagian simulasi domain sasaran, https://github.com/PJLab-ADG/PCSim

Motivasi penyelidikan

Cabaran

: Walaupun model 3D boleh membantu kereta pandu sendiri mengenali persekitaran mereka, model garis dasar sedia ada sukar untuk digeneralisasikan kepada domain baharu (seperti tetapan penderia yang berbeza atau bandar ghaib). Visi jangka panjang dalam bidang pemanduan autonomi adalah untuk membolehkan model mencapai migrasi domain pada kos yang lebih rendah, iaitu, berjaya menyesuaikan model yang terlatih sepenuhnya pada domain sumber kepada senario domain sasaran, di mana domain sumber dan sasaran domain masing-masing wujud. Terdapat dua domain dengan perbezaan pengedaran data yang jelas.

Idea penyelesaian yang biasa digunakan

: Menghadapi perbezaan domain di atas, penyelesaian yang paling biasa ialah mendapatkan dan menganotasi data untuk adegan domain sasaran Kaedah ini boleh mengelakkan kemerosotan prestasi model yang disebabkan oleh perbezaan domain pada tahap tertentu. Masalah, tetapi terdapat 1) kos pengumpulan data dan 2) kos pelabelan data yang besar. Oleh itu, seperti yang ditunjukkan dalam rajah di bawah (lihat dua kaedah garis dasar (a) dan (b)), untuk mengurangkan kos pengumpulan data dan anotasi data untuk domain baharu, enjin simulasi boleh digunakan untuk membuat beberapa simulasi sampel awan titik Ini adalah idea Penyelesaian biasa untuk kerja penyelidikan sim-to-real. Idea lain ialah penyesuaian domain tanpa seliaan (UDA untuk 3D Tujuan jenis kerja ini adalah untuk mengkaji cara untuk mencapai penalaan halus yang diselia sepenuhnya dalam keadaan hanya terdedah kepada data domain sasaran tidak berlabel (perhatikan bahawa ia adalah data sebenar). ) Jika ini dapat dicapai, ia sememangnya akan menjimatkan kos pelabelan domain sasaran Walau bagaimanapun, kaedah UDA masih perlu mengumpul sejumlah besar data domain sasaran sebenar untuk mencirikan taburan data domain sasaran.

Rajah 1: Perbandingan paradigma latihan yang berbeza

Idea kami: Berbeza daripada idea penyelidikan dalam dua kategori di atas, seperti yang ditunjukkan dalam rajah di bawah (sila lihat (c) proses garis dasar), kami komited kepada laluan penyepaduan simulasi-persepsi data untuk menggabungkan maya dan nyata, di mana Realiti merujuk kepada: membina perwakilan domain-invarian berdasarkan data domain sumber berlabel besar-besaran Andaian ini mempunyai kepentingan praktikal untuk banyak senario, kerana selepas pengumpulan data sejarah jangka panjang, kita sentiasa boleh memikirkan data domain sumber beranotasi ini wujud. ; sebaliknya, simulasi dalam gabungan cara maya dan nyata: selepas kami membina perwakilan invarian domain berdasarkan data domain sumber, perwakilan ini boleh diimport Pergi ke saluran paip pemaparan sedia ada untuk melaksanakan simulasi data domain sasaran. Berbanding dengan kerja penyelidikan sim-ke-sebenar semasa, kaedah kami disokong oleh data peringkat pemandangan sebenar, termasuk maklumat sebenar seperti struktur jalan, cerun menaik dan menurun bukit, dsb. Maklumat ini sukar diperoleh semata-mata dengan bergantung pada enjin simulasi sendiri. Selepas mendapatkan data dalam domain sasaran, kami menyepadukan data ke dalam model persepsi semasa terbaik, seperti PV-RCNN, untuk latihan, dan kemudian mengesahkan ketepatan model dalam domain sasaran. Aliran kerja terperinci keseluruhan ditunjukkan dalam rajah di bawah:

Rajah 2 Carta aliran ReSimAD

Carta alir ReSimAD ditunjukkan dalam Rajah 2, yang terutamanya merangkumi a) Proses pembinaan semula tersirat Point-to-Mesh , b ) Proses pemaparan enjin simulasi mesh-to-point , c) Proses persepsi sampel sifar .

ReSimAD: Paradigma persepsi pembinaan semula simulasi

a)

Proses pembinaan semula tersirat point-to-mesh: Diilhamkan oleh StreetSurf, kami hanya menggunakan pembinaan semula lidar untuk membina semula aliran latar belakang jalanan yang dinamik dan pelbagai aliran Kami mula-mula mereka bentuk modul pembinaan semula SDF awan tulen (LiDAR-only Implicit Neural Reconstruction, LINR Kelebihannya ialah ia tidak dipengaruhi oleh beberapa perbezaan domain yang disebabkan oleh penderiaan kamera, seperti: perubahan dalam pencahayaan, perubahan dalam keadaan cuaca,). dan lain-lain. Modul pembinaan semula SDF awan titik tulen mengambil sinar LiDAR sebagai input, kemudian meramalkan maklumat kedalaman, dan akhirnya membina perwakilan jejaring 3D tempat kejadian.

Khususnya, untuk cahaya

yang dipancarkan dari asal ke arah , kami menggunakan pemaparan volum pada lidar untuk melatih rangkaian Medan Jarak Ditandatangani (SDF), dan kedalaman pemaparan D boleh dirumuskan sebagai:

di manakah Kedalaman pensampelan

titik sampel ialah hantaran terkumpul, yang diperoleh dengan menggunakan model jarak dekat dalam NeuS.

Mengambil inspirasi daripada StreetSurf, input model proses pembinaan semula yang dicadangkan dalam artikel ini berasal daripada sinar lidar, dan output ialah kedalaman yang diramalkan. Pada setiap rasuk lidar sampel

, kami menggunakan kehilangan L1 logaritma pada , iaitu, kedalaman pemaparan gabungan model dekat dan jauh:

Walau bagaimanapun, kaedah LINR masih menghadapi beberapa cabaran. Disebabkan oleh kekurangan data yang wujud yang diperoleh oleh lidar, bingkai awan titik lidar tunggal hanya boleh menangkap sebahagian daripada maklumat yang terkandung dalam imej RGB standard. Perbezaan ini menyerlahkan potensi kelemahan rendering kedalaman dalam menyediakan perincian geometri yang diperlukan untuk latihan yang berkesan. Oleh itu, ini boleh membawa kepada sejumlah besar artifak dalam jaringan yang dibina semula yang terhasil. Untuk menangani cabaran ini, kami mencadangkan untuk menyambung semua bingkai dalam urutan Waymo untuk meningkatkan ketumpatan awan titik.

Disebabkan oleh pengehadan medan pandangan menegak LiDAR Teratas dalam set data Waymo, hanya memperoleh awan titik antara -17.6° dan 2.4° mempunyai pengehadan yang jelas pada pembinaan semula bangunan bertingkat di sekeliling. Untuk menangani cabaran ini, kami memperkenalkan penyelesaian yang menggabungkan awan titik dari Side LiDAR ke dalam urutan pensampelan untuk pembinaan semula. Empat radar pengisian buta dipasang pada bahagian hadapan, belakang dan dua sisi kenderaan autonomi, dengan medan pandangan menegak mencapai [-90°, 30°], yang secara berkesan mengimbangi kekurangan medan pandangan yang tidak mencukupi lidar atas. Disebabkan oleh perbezaan ketumpatan awan titik antara lidar sisi dan lidar atas, kami memilih untuk menetapkan berat pensampelan yang lebih tinggi kepada lidar sisi untuk meningkatkan kualiti pembinaan semula pemandangan bangunan bertingkat tinggi.

Penilaian kualiti pembinaan semula: Disebabkan oleh oklusi yang disebabkan oleh objek dinamik dan kesan hingar lidar, perwakilan tersirat mungkin wujud dalam jumlah hingar tertentu untuk pembinaan semula. Oleh itu, kami menilai ketepatan pembinaan semula. Oleh kerana kita boleh memperoleh data awan titik beranotasi besar-besaran daripada domain lama, kita boleh mendapatkan data awan titik simulasi domain lama dengan memaparkan semula pada domain lama untuk menilai ketepatan jaringan yang dibina semula. Kami mengukur awan titik simulasi dan awan titik sebenar asal, menggunakan ralat purata kuasa dua akar (RMSE) dan jarak chamfer (CD):

di mana skor pembinaan semula setiap jujukan dan penerangan beberapa proses terperinci adalah Sila rujuk lampiran asal. . fail model, dan akhirnya memuatkan jaringan latar belakang sebagai pustaka aset ke dalam simulator sumber terbuka CARLA.

Kami mula-mula mendapatkan fail anotasi Waymo untuk mendapatkan kategori kotak sempadan dan saiz objek tiga dimensi bagi setiap peserta trafik ini, kami mencari peserta trafik dalam kategori yang sama dengan saiz paling hampir dalam digital perpustakaan aset digital CARLA. aset, dan import aset digital ini sebagai model peserta trafik. Berdasarkan maklumat ketulenan tempat kejadian yang tersedia dalam simulator CARLA, kami membangunkan alat pengekstrakan kotak pengesan untuk setiap objek yang boleh dikesan dalam tempat kejadian trafik. Untuk butiran, sila rujuk Alat Pembangunan PCSim.

Rajah 3 Taburan saiz objek (panjang, lebar, tinggi) peserta trafik dalam set data yang berbeza. Seperti yang dapat dilihat daripada Rajah 3, kepelbagaian pengedaran saiz objek yang disimulasikan menggunakan kaedah ini adalah sangat luas, melebihi set data yang diterbitkan pada masa ini seperti KITTI, nuScenes, Waymo, ONCE, dll.

Set data simulasi pembinaan semula ReSimAD

Kami menggunakan Waymo sebagai data domain sumber dan membina semulanya di Waymo untuk mendapatkan jaringan 3D yang lebih realistik. Pada masa yang sama, kami menggunakan KITTI, nuScenes dan ONCE sebagai senario domain sasaran dan mengesahkan prestasi sifar pukulan yang dicapai oleh kaedah kami dalam senario domain sasaran ini.

Kami menjana data jejaring peringkat pemandangan 3D berdasarkan set data Waymo mengikut pengenalan dalam bab di atas, dan menggunakan kriteria penilaian di atas untuk menentukan jejaring 3D yang berkualiti tinggi dalam domain Waymo dan memilih 146 yang tertinggi jaringan berdasarkan markah Proses simulasi domain sasaran seterusnya. Keputusan penilaian AD dengan Tiga salib tipikal -garis dasar domain dibandingkan: a) garis dasar yang secara langsung menggunakan enjin simulasi untuk simulasi data; b) garis dasar yang melakukan simulasi data dengan menukar tetapan parameter sensor dalam enjin simulasi; Metrik: Kami menyelaraskan piawai penilaian semasa untuk pengesanan objek merentas domain 3D, masing-masing menggunakan AP berasaskan BEV dan berasaskan 3D sebagai metrik penilaian. Tetapan parameter: Untuk butiran, sila rujuk kertas.

Hasil eksperimen

Hanya keputusan percubaan utama ditunjukkan di sini untuk mendapatkan hasil yang lebih lanjut, sila rujuk kertas kami.

Prestasi penyesuaian model PV-RCNN/PV-RCNN++ di bawah tiga tetapan merentas domain

Dari jadual di atas, kita boleh perhatikan: Perbezaan utama antara UDA dan ReSimAD menggunakan teknologi penyesuaian domain tanpa pengawasan (UDA) ialah yang pertama menggunakan sampel domain sasaran adegan sebenar untuk migrasi domain model, manakala tetapan percubaan ReSimAD It memerlukan ia tidak boleh mengakses sebarang data awan titik sebenar dalam domain sasaran. Seperti yang dapat dilihat daripada jadual di atas, hasil rentas domain yang diperoleh oleh ReSimAD kami adalah setanding dengan yang diperolehi oleh kaedah UDA. Keputusan ini menunjukkan bahawa apabila penderia lidar perlu dinaik taraf untuk tujuan komersial, kaedah kami dapat mengurangkan kos pengumpulan data dengan banyak dan memendekkan lagi kitaran latihan semula dan pembangunan semula model disebabkan perbezaan domain.

Data ReSimAD digunakan sebagai data permulaan sejuk domain sasaran, dan kesan yang boleh dicapai pada domain sasaran

Faedah lain menggunakan data yang dihasilkan oleh ReSimAD ialah ia boleh digunakan tanpa mengakses sebarang pengedaran data sebenar domain sasaran Ketepatan domain sasaran berprestasi tinggi boleh diperolehi pada masa yang sama. Proses ini sebenarnya serupa dengan proses "permulaan sejuk" model pemanduan autonomi dalam senario baharu.

Jadual di atas melaporkan keputusan percubaan di bawah domain sasaran yang diselia sepenuhnya. Oracle mewakili hasil model yang dilatih pada jumlah penuh data domain sasaran berlabel, manakala SFT mewakili bahawa parameter permulaan rangkaian model garis dasar disediakan oleh pemberat yang dilatih pada data simulasi ReSimAD. Jadual percubaan di atas menunjukkan bahawa awan titik yang disimulasikan menggunakan kaedah ReSimAD kami boleh memperoleh parameter berat permulaan yang lebih tinggi, dan prestasinya melebihi tetapan percubaan Oracle.

Data ReSimAD digunakan sebagai set data umum untuk menggunakan prestasi kaedah pra-latihan AD-PT pada tugas hiliran yang berbeza

Untuk mengesahkan sama ada ReSimAD boleh menjana lebih banyak data awan titik untuk membantu pra 3D -latihan, kami reka Percubaan berikut telah dijalankan: AD-PT (kaedah yang dicadangkan baru-baru ini untuk rangkaian tulang belakang pra-latihan dalam senario pemanduan autonomi) telah digunakan untuk pra-melatih tulang belakang 3D pada awan titik simulasi, dan kemudian hiliran sebenar data pemandangan telah digunakan untuk penalaan halus parameter penuh.

• Kami memanfaatkan ReSimAD untuk menjana data dengan pengedaran awan titik yang lebih luas. Untuk perbandingan yang saksama dengan keputusan pra-latihan dalam AD-PT, volum sasaran data awan titik simulasi yang dijana oleh ReSimAD adalah lebih kurang . Dalam jadual di atas, pengesan garis dasar kami adalah pra-latihan 3D pada data pra-latihan sebenar (set data SEKALI) dan data pra-latihan simulasi (disediakan oleh ReSimAD), menggunakan kaedah AD-PT dan pada set data KITTI dan Waymo Perform penalaan halus hiliran. Keputusan dalam jadual di atas menunjukkan bahawa menggunakan data simulasi pra-latihan dengan saiz yang berbeza boleh terus meningkatkan prestasi model di hiliran. Di samping itu, dapat dilihat bahawa kos pemerolehan data data pra-latihan yang diperoleh oleh ReSimAD adalah sangat rendah, berbanding dengan menggunakan ONCE untuk model pra-latihan, dan prestasi pra-latihan yang diperoleh oleh ReSimAD adalah setanding dengan pra-latihan. prestasi pada set data ONCE.

Simulasi yang dibina semula menggunakan ReSimAD vs. Perbandingan visual menggunakan simulasi lalai CARLA

Perbandingan visual mesh yang kami bina semula berdasarkan dataset Waymo lwn. Dibina semula menggunakan VDBFusion

mmary

at Dalam kerja ini, kami komited untuk mengkaji cara bereksperimen dengan tugas pemindahan model domain sasaran sampel sifar Tugas ini memerlukan model berjaya memindahkan model domain sumber yang telah dilatih kepada sasaran tanpa terdedah kepada sebarang. contoh maklumat data daripada senario domain sasaran. Berbeza daripada kerja sebelumnya, kami meneroka buat pertama kalinya teknologi penjanaan data 3D berdasarkan pembinaan semula tersirat domain sumber dan simulasi kepelbagaian domain sasaran, dan mengesahkan bahawa teknologi ini boleh mencapai model yang lebih baik tanpa terdedah kepada pengedaran data domain sasaran Prestasi migrasi adalah lebih baik daripada beberapa kaedah penyesuaian domain tanpa pengawasan (UDA).

Pautan asal: https://mp.weixin.qq.com/s/pmHFDvS7nXy-6AQBhvVzSw

Atas ialah kandungan terperinci ReSimAD: Bagaimana untuk meningkatkan prestasi generalisasi model persepsi melalui data maya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!