Gambaran Keseluruhan: Teknologi penderiaan kolaboratif untuk pemanduan autonomi

kertas ulasan arXiv "Persepsi Kolaboratif untuk Pemanduan Autonomi: Status Semasa dan Trend Masa Depan", 23 Ogos 2022, Universiti Jiao Tong Shanghai.

Persepsi ialah salah satu modul utama sistem pemanduan autonomi Walau bagaimanapun, keupayaan basikal yang terhad mewujudkan kesesakan untuk meningkatkan prestasi persepsi. Untuk menembusi batasan persepsi tunggal, persepsi kolaboratif dicadangkan untuk membolehkan kenderaan berkongsi maklumat dan melihat persekitaran di luar garis penglihatan dan di luar bidang pandangan. Artikel ini menyemak kerja yang menjanjikan berkaitan teknologi penderiaan kolaboratif, termasuk konsep asas, model kolaboratif serta elemen dan aplikasi utama. Akhir sekali, cabaran dan isu terbuka dalam bidang penyelidikan ini dibincangkan dan arahan selanjutnya diberikan.

Seperti yang ditunjukkan dalam rajah, dua isu penting untuk persepsi tunggal ialah oklusi jarak jauh dan data yang jarang. Penyelesaian kepada masalah ini ialah kenderaan di kawasan yang sama berkongsi maklumat persepsi yang sama (CPM, mesej persepsi kolektif) antara satu sama lain dan secara kolaboratif melihat persekitaran, yang dipanggil penderiaan kolaboratif atau penderiaan koperasi.

Terima kasih kepada pembinaan infrastruktur komunikasi dan pembangunan teknologi komunikasi seperti V2X, kenderaan boleh bertukar maklumat dengan cara yang boleh dipercayai, sekali gus mencapai kerjasama. Kerja baru-baru ini telah menunjukkan bahawa penderiaan kolaboratif antara kenderaan boleh meningkatkan ketepatan persepsi alam sekitar serta keteguhan dan keselamatan sistem pengangkutan.

Selain itu, kenderaan autonomi sering dilengkapi dengan penderia kesetiaan tinggi untuk persepsi yang boleh dipercayai, mengakibatkan kos yang mahal. Penderiaan kolaboratif boleh mengurangkan keperluan ketat kenderaan tunggal pada peralatan penderiaan.

Penginderaan koperasi berkongsi maklumat dengan kenderaan dan infrastruktur berdekatan, membolehkan kenderaan autonomi mengatasi batasan persepsi tertentu seperti oklusi dan medan pandangan pendek. Walau bagaimanapun, untuk mencapai penderiaan kolaboratif masa nyata dan mantap memerlukan penyelesaian beberapa cabaran yang disebabkan oleh kapasiti komunikasi dan hingar. Baru-baru ini, beberapa kerja telah mengkaji strategi untuk penderiaan kolaboratif, termasuk apa itu kolaborasi, bila untuk bekerjasama, cara bekerjasama, penjajaran maklumat yang dikongsi, dsb.

Serupa dengan gabungan, terdapat 4 kategori kerjasama:

1 Kerjasama awal

Kolaborasi awal dalam Bekerjasama dalam ruang input untuk berkongsi data deria mentah antara kenderaan dan infrastruktur. Ia mengagregatkan ukuran mentah semua kenderaan dan infrastruktur untuk mendapatkan pandangan holistik. Oleh itu, setiap kenderaan boleh melakukan pemprosesan berikut dan persepsi lengkap berdasarkan perspektif keseluruhan, yang secara asasnya boleh menyelesaikan masalah oklusi dan jarak jauh yang timbul dalam persepsi tunggal.

Walau bagaimanapun, berkongsi data deria mentah memerlukan komunikasi yang meluas dan mudah menyesakkan rangkaian komunikasi dengan beban data yang berlebihan, yang menghalang aplikasi praktikalnya dalam kebanyakan kes.

2. Kerjasama lewat

Kerjasama lewat bekerjasama dalam ruang keluaran, yang menggalakkan gabungan output hasil persepsi oleh setiap ejen dan mencapai penghalusan.

Walaupun kerjasama peringkat akhir adalah menjimatkan lebar jalur, ia sangat sensitif terhadap ralat kedudukan ejen dan mengalami ralat anggaran yang tinggi dan bunyi bising akibat pemerhatian tempatan yang tidak lengkap.

3 Kerjasama pertengahan

Kerjasama pertengahan melaksanakan kerjasama dalam ruang ciri pertengahan. Ia mampu menghantar ciri perantaraan yang dihasilkan oleh model ramalan ejen individu. Selepas menggabungkan ciri-ciri ini, setiap ejen menyahkod ciri yang digabungkan dan menghasilkan hasil persepsi. Dari segi konsep, maklumat perwakilan boleh dimampatkan ke dalam ciri ini, menjimatkan lebar jalur komunikasi berbanding kerjasama awal dan meningkatkan persepsi berbanding kerjasama lewat.

Dalam praktiknya, reka bentuk strategi kolaboratif ini mencabar dari segi algoritma dalam dua aspek: i) cara memilih ciri yang paling berkesan dan padat daripada ukuran mentah untuk penghantaran dan ii) cara memaksimumkan Mengintegrasikan ciri-ciri lain; kecerdasan untuk meningkatkan keupayaan persepsi setiap kecerdasan.

4 Sinergi Hibrid

Seperti yang dinyatakan di atas, setiap mod sinergi mempunyai kelebihan dan kekurangannya. Oleh itu, sesetengah karya mengguna pakai kerjasama hibrid, menggabungkan dua atau lebih mod kerjasama untuk mengoptimumkan strategi kerjasama.

Faktor utama penderiaan kolaboratif termasuk:

1 Graf kolaboratif

Graf ialah alat yang berkuasa untuk pemodelan penderiaan kolaboratif kerana ia memodelkan bukan Euclidean Struktur data mempunyai kebolehtafsiran yang baik. Dalam sesetengah kerja, kenderaan yang mengambil bahagian dalam penderiaan kolaboratif membentuk graf kolaboratif yang lengkap, di mana setiap kenderaan adalah nod dan hubungan kerjasama antara dua kenderaan adalah pinggir antara dua nod.

2 Penjajaran Sikap

Memandangkan penderiaan kolaboratif memerlukan data gabungan dari kenderaan dan infrastruktur di lokasi yang berbeza dan pada masa yang berbeza, mencapai penjajaran data yang tepat adalah penting untuk menjayakan penderiaan kolaboratif. Ia penting.

3 Gabungan Maklumat

Pencantuman maklumat ialah komponen teras sistem berbilang ejen, dan matlamatnya adalah untuk menggabungkan jumlah terbesar maklumat daripada ejen lain dalam satu bahagian cara yang berkesan.

4 Peruntukan sumber berdasarkan pembelajaran pengukuhan

Jalur lebar komunikasi terhad dalam persekitaran kehidupan sebenar memerlukan penggunaan penuh sumber komunikasi yang tersedia, yang menjadikan peruntukan sumber dan perkongsian spektrum sangat penting. Dalam persekitaran komunikasi kenderaan, keadaan saluran yang berubah dengan pantas dan permintaan perkhidmatan yang semakin meningkat menjadikan pengoptimuman masalah peruntukan sangat kompleks dan sukar untuk diselesaikan menggunakan kaedah pengoptimuman tradisional. Sesetengah karya menggunakan pembelajaran tetulang berbilang ejen (MARL) untuk menyelesaikan masalah pengoptimuman.

Aplikasi penderiaan kolaboratif:

1 pengesanan sasaran 3D

Pengesanan sasaran 3D berdasarkan awan titik lidar ialah yang paling popular dalam masalah penyelidikan penderiaan kolaboratif . Sebabnya adalah seperti berikut: i) Awan titik Lidar mempunyai lebih banyak dimensi ruang berbanding imej dan video. ii) Awan titik LiDAR boleh mengekalkan maklumat peribadi, seperti muka dan nombor plat lesen, pada tahap tertentu. iii) Data awan titik ialah jenis data yang sesuai untuk gabungan kerana ia kehilangan kurang daripada piksel apabila diselaraskan daripada pose yang berbeza. iv) Pengesanan objek 3D ialah tugas asas untuk persepsi pemanduan autonomi, di mana banyak tugas seperti penjejakan dan ramalan gerakan berdasarkan.

2 Pembahagian semantik

Pembahagian semantik adegan 3D juga merupakan tugas utama yang diperlukan untuk pemanduan autonomi. Pembahagian semantik kolaboratif bagi objek pemandangan 3D Memandangkan pemerhatian pemandangan 3D (imej, awan titik lidar, dll.) daripada berbilang ejen, topeng segmentasi semantik dijana untuk setiap ejen. ‍

Isu mencabar:

1 Keteguhan komunikasi

Penyatuan bersama yang berkesan bergantung pada komunikasi yang boleh dipercayai antara ejen. Walau bagaimanapun, komunikasi tidak sempurna dalam amalan: i) apabila bilangan kenderaan dalam rangkaian meningkat, lebar jalur komunikasi yang tersedia bagi setiap kenderaan adalah terhad ii) disebabkan oleh kelewatan komunikasi yang tidak dapat dielakkan, sukar untuk kenderaan menerima maklumat masa nyata daripada kenderaan lain; iii) Komunikasi kadangkala terputus, mengakibatkan gangguan komunikasi iv) Komunikasi V2X rosak dan perkhidmatan yang boleh dipercayai tidak selalu disediakan. Walaupun teknologi komunikasi terus berkembang dan kualiti perkhidmatan komunikasi terus bertambah baik, masalah di atas masih akan wujud dalam jangka masa yang lama. Walau bagaimanapun, kebanyakan kerja sedia ada menganggap bahawa maklumat boleh dikongsi dalam masa nyata dan tanpa kerugian, jadi adalah penting untuk kerja selanjutnya untuk mempertimbangkan kekangan komunikasi ini dan mereka bentuk sistem penderiaan kolaboratif yang mantap.

2 Heterogeniti dan rentas modal

Kebanyakan kerja persepsi kolaboratif memfokuskan pada persepsi berasaskan awan titik LiDAR. Walau bagaimanapun, terdapat banyak lagi jenis data yang tersedia untuk penderiaan, seperti imej dan awan titik radar gelombang milimeter. Ini adalah cara yang berpotensi untuk memanfaatkan data sensor multimodal untuk kerjasama yang lebih berkesan. Tambahan pula, dalam beberapa senario, terdapat tahap kenderaan autonomi yang berbeza yang memberikan kualiti maklumat yang berbeza. Oleh itu, bagaimana untuk bekerjasama dalam rangkaian kenderaan heterogen adalah masalah untuk aplikasi praktikal selanjutnya penderiaan kolaboratif. Malangnya, beberapa karya menumpukan pada penderiaan kolaboratif heterogen dan silang modal, yang juga menjadi cabaran terbuka.

3 Set Data Berskala Besar

Pembangunan set data berskala besar dan kaedah pembelajaran mendalam telah meningkatkan prestasi persepsi. Walau bagaimanapun, set data sedia ada dalam bidang penyelidikan penderiaan kolaboratif adalah sama ada bersaiz kecil atau tidak tersedia untuk umum.

Ketiadaan set data berskala besar awam menghalang pembangunan selanjutnya penderiaan kolaboratif. Tambahan pula, kebanyakan set data adalah berdasarkan simulasi. Walaupun simulasi ialah cara yang menjimatkan dan selamat untuk mengesahkan algoritma, set data sebenar juga diperlukan untuk menggunakan penderiaan kolaboratif dalam amalan.

Atas ialah kandungan terperinci Gambaran Keseluruhan: Teknologi penderiaan kolaboratif untuk pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!