ST-P3: Kaedah penglihatan pembelajaran ciri spatiotemporal hujung ke hujung untuk pemanduan autonomi

kertas arXiv "ST-P3: Pemanduan Autonomi Berasaskan Penglihatan Hujung-ke-hujung melalui Pembelajaran Ciri Spatial-Temporal", 22 Julai, pengarang dari Shanghai Jiao Tong University, Shanghai AI Laboratory, University of California San Diego dan JD. com Institut Penyelidikan Beijing.

Cadangkan skim pembelajaran ciri spatiotemporal yang boleh menyediakan satu set ciri yang lebih representatif untuk persepsi, ramalan dan perancangan secara serentak, yang dipanggil ST-P3. Khususnya, teknik pengumpulan sejajar egosentrik dicadangkan untuk mengekalkan maklumat geometri dalam ruang 3-D sebelum mengesan penukaran BEV; unit penghalusan diperkenalkan untuk mengimbangi pengecaman elemen visual yang dirancang. Butiran kod sumber, model dan protokol sumber terbuka https://github.com/OpenPerceptionX/ST-P3.

Kaedah Perintis LSS mengekstrak ciri perspektif daripada kamera berbilang paparan, mengangkatnya kepada 3D melalui anggaran kedalaman dan menggabungkannya ke dalam ruang BEV. Transformasi ciri antara dua paparan, yang ramalan kedalaman terpendamnya adalah penting.

Menaik taraf maklumat satah dua dimensi kepada tiga dimensi memerlukan dimensi tambahan, iaitu kedalaman yang sesuai untuk tugas pemanduan autonomi dengan geometri tiga dimensi. Untuk menambah baik lagi perwakilan ciri, adalah wajar untuk memasukkan maklumat temporal ke dalam rangka kerja kerana kebanyakan adegan ditugaskan dengan sumber video.

Seperti yang diterangkan dalam rajahST- P3Rangka kerja keseluruhan: Khususnya, diberikan satu set video kamera sekeliling, masukkannya ke dalam tulang belakang untuk menjana ciri pandangan hadapan awal. Melakukan anggaran kedalaman tambahan untuk menukar ciri 2D kepada ruang 3D. Skim pengumpulan penjajaran berpusatkan diri mula-mula menjajarkan ciri-ciri lepas kepada sistem koordinat paparan semasa. Ciri semasa dan masa lalu kemudiannya diagregatkan dalam ruang tiga dimensi, mengekalkan maklumat geometri sebelum ditukar kepada perwakilan BEV. Selain daripada model domain masa ramalan yang biasa digunakan, prestasi dipertingkatkan lagi dengan membina laluan kedua untuk menerangkan perubahan gerakan yang lalu. Pemodelan dwi-laluan ini memastikan perwakilan ciri yang lebih kukuh untuk membuat kesimpulan hasil semantik masa hadapan. Untuk mencapai matlamat akhir trajektori perancangan , ciri awal pengetahuan sedia ada rangkaian disepadukan. Modul penghalusan telah direka bentuk untuk menjana trajektori akhir dengan bantuan arahan peringkat tinggi tanpa adanya peta HD.

Gambar menunjukkan kaedah pengumpulan penjajaran egosentrik persepsi. (a) Gunakan anggaran kedalaman untuk menaikkan ciri pada cap masa semasa kepada 3D dan bergabung menjadi ciri BEV selepas penjajaran (b-c) Selaraskan ciri 3D bingkai sebelumnya dengan paparan bingkai semasa dan bercantum dengan semua keadaan masa lalu dan semasa; mempertingkatkan perwakilan ciri.

Seperti yang ditunjukkan dalam rajah ialah model dua hala yang digunakan untuk ramalan: (i) Kod terpendam ialah taburan daripada peta ciri; (ii iii) Cara a Ia menggabungkan taburan ketidakpastian yang menunjukkan pelbagai mod pada masa hadapan, manakala laluan b belajar daripada perubahan masa lalu, membantu maklumat laluan a untuk mengimbangi.

Sebagai matlamat utama, anda perlu merancang trajektori yang selamat dan selesa untuk mencapai titik sasaran. Perancang gerakan ini mengambil sampel satu set trajektori yang berbeza dan memilih satu yang meminimumkan fungsi kos yang dipelajari. Walau bagaimanapun, menyepadukan maklumat daripada titik sasaran dan lampu isyarat melalui model domain masa menambahkan langkah pengoptimuman tambahan.

Rajah menunjukkan penyepaduan dan penghalusan pengetahuan sedia ada untuk perancangan : gambar rajah kos keseluruhan termasuk dua subkos. Trajektori kos minimum ditakrifkan semula menggunakan ciri berpandangan ke hadapan untuk mengagregatkan maklumat berasaskan penglihatan daripada input kamera.

Menghukum trajektori dengan pecutan sisi yang besar, jerk atau kelengkungan. Semoga trajektori ini akan sampai ke destinasi dengan cekap, jadi kemajuan ke hadapan akan diberi ganjaran. Walau bagaimanapun, item kos di atas tidak mengandungi maklumat sasaran yang biasanya disediakan oleh peta laluan. Gunakan arahan peringkat tinggi, termasuk ke hadapan, belok kiri dan belok kanan, dan nilaikan trajektori hanya berdasarkan arahan yang sepadan.

Selain itu, lampu isyarat adalah penting untuk SDV mengoptimumkan trajektori melalui rangkaian GRU. Keadaan tersembunyi dimulakan dengan ciri kamera hadapan modul pengekod dan setiap titik sampel bagi jangka kos digunakan sebagai input.

Keputusan percubaan adalah seperti berikut:

Atas ialah kandungan terperinci ST-P3: Kaedah penglihatan pembelajaran ciri spatiotemporal hujung ke hujung untuk pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!