"Menyelamatkan" senario heterogen terbuka |

Teknologi penderiaan kolaboratif adalah sangat penting dalam menyelesaikan masalah persepsi kenderaan autonomi. Walau bagaimanapun, penyelidikan sedia ada sering mengabaikan kemungkinan heterogen di kalangan ejen, iaitu, kepelbagaian sensor dan model persepsi. Dalam aplikasi praktikal, mungkin terdapat perbezaan yang ketara dalam modaliti dan model antara ejen, yang membawa kepada kemunculan perbezaan domain dan menyukarkan pengesanan kolaboratif. Oleh itu, penyelidikan masa depan perlu mempertimbangkan cara mengendalikan heterogeniti antara ejen secara berkesan untuk mencapai penderiaan kolaboratif yang lebih berkesan. Ini memerlukan pembangunan kaedah dan algoritma baharu untuk menampung perbezaan antara ejen yang berbeza dan memastikan mereka boleh bekerjasama untuk mencapai sistem pemanduan autonomi yang lebih cekap.

Untuk menyelesaikan cabaran praktikal ini, artikel penyelidikan terkini ICLR 2024 "Rangka Kerja Yang Boleh Diperluas untuk Persepsi Kolaboratif Heterogen Terbuka" mentakrifkan masalah Persepsi Kolaboratif Heterogen Terbuka: Bagaimana untuk mengintegrasikan ejen heterogen baharu yang sentiasa muncul Jenis menyertai kolaboratif sedia ada sistem penderiaan sambil memastikan prestasi penderiaan yang tinggi dan kos penyambungan yang rendah? Penyelidik dari Universiti Shanghai Jiao Tong, Universiti California Selatan dan Makmal Kepintaran Buatan Shanghai mencadangkan HEAL (HEterogenALliance) dalam artikel ini: rangka kerja kerjasama ejen heterogen berskala yang berkesan Ia menyelesaikan dua kesakitan utama titik masalah penderiaan kolaboratif heterogen terbuka.

Mereka mencipta rangka kerja kod yang mengandungi berbilang set data penderiaan kolaboratif, berbilang algoritma penderiaan kolaboratif dan menyokong pelbagai mod, yang kini sumber terbuka sepenuhnya. Penulis percaya bahawa ini merupakan rangka kerja kod penderiaan kolaboratif yang paling lengkap pada masa ini dan dijangka dapat membantu lebih ramai orang dengan mudah memasuki bidang penyelidikan penderiaan kolaboratif pelbagai mod dan heterogen.

• Pautan kertas: https://arxiv.org/abs/2401.13964
• Pautan kod: https://github.com/yifanlu0227/HEAL

latar belakang carian dan kepentingan tahun-tahun kebelakangan ini. , Teknologi pemanduan berautonomi telah menarik banyak perhatian daripada ahli akademik dan industri. Walau bagaimanapun, keadaan jalan sebenar adalah kompleks dan boleh diubah, dan penderia kenderaan tunggal mungkin disekat oleh kenderaan lain, menimbulkan cabaran kepada keupayaan persepsi sistem pemanduan autonomi. Untuk menyelesaikan masalah ini, penderiaan kolaboratif antara pelbagai ejen menjadi penyelesaian. Dengan kemajuan teknologi komunikasi, ejen boleh berkongsi maklumat deria dan menggabungkan data sensor mereka sendiri dengan maklumat daripada ejen lain untuk meningkatkan persepsi mereka terhadap persekitaran sekeliling. Melalui kerjasama, setiap ejen boleh mendapatkan maklumat di luar bidang pandangannya sendiri, yang membantu meningkatkan persepsi dan keupayaan membuat keputusan. . iaitu sistem persepsi mereka semuanya menggunakan penderia yang sama dan berkongsi model pengesanan yang sama. Walau bagaimanapun, dalam dunia nyata, corak dan model ejen yang berbeza mungkin berbeza, dan corak serta model baharu mungkin terus muncul. Disebabkan perkembangan pesat teknologi penderia dan algoritma, adalah tidak realistik untuk mengenal pasti semua jenis ejen kerjasama (termasuk mod dan model) pada mulanya. Apabila ejen heterogen yang tidak pernah muncul dalam set latihan ingin menyertai kerjasama, ia pasti akan menghadapi perbezaan domain dengan ejen sedia ada. Perbezaan ini akan mengehadkan keupayaannya untuk melakukan gabungan ciri dengan ejen sedia ada, dengan itu mengehadkan skalabiliti penderiaan kolaboratif dengan ketara.

Oleh itu, masalah penderiaan koperasi heterogen terbuka timbul: Bagaimana untuk menambah jenis ejen baharu yang muncul kepada sistem penderiaan koperasi sedia ada sambil memastikan prestasi penderiaan tinggi dan kos integrasi yang rendah? Penderiaan kolaboratif heterogen

Untuk menyelesaikan masalah ini, penyelesaian yang boleh dilaksanakan ialah selepas gabungan. Dengan menggabungkan output persepsi setiap ejen (seperti kotak sempadan 3D), selepas gabungan memintas heterogeniti antara ejen baharu dan sedia ada, dan latihan hanya perlu berlaku pada satu kelas ejen. Walau bagaimanapun, prestasi selepas gabungan adalah tidak ideal dan telah terbukti sangat terdedah kepada faktor gangguan seperti hingar kedudukan dan kelewatan komunikasi. Satu lagi pendekatan yang berpotensi ialah latihan kolektif sepenuhnya, yang mengagregatkan semua jenis ejen dalam kerjasama untuk latihan kolaboratif untuk mengatasi perbezaan domain. Walau bagaimanapun, pendekatan ini memerlukan latihan semula semua model setiap kali jenis ejen baharu diperkenalkan. Dengan kemunculan berterusan ejen heterogen baharu, kos latihan meningkat dengan mendadak. HEAL mencadangkan rangka kerja kerjasama heterogen terbuka baharu yang pada masa yang sama mempunyai prestasi tinggi latihan kolektif sepenuhnya dan kos latihan pasca gabungan yang rendah.

Takrifan masalah

Masalah persepsi kolaboratif heterogen terbuka mengambil kira senario berikut: menambahkan kategori ejen heterogen dengan modaliti atau model yang sebelum ini tidak tersedia kepada sistem kerjasama sedia ada. Tanpa kehilangan keluasan, kami menganggap bahawa adegan pada mulanya terdiri daripada ejen homogen Mereka dilengkapi dengan jenis penderia yang sama, menggunakan model pengesanan yang sama, dan semuanya mempunyai keupayaan untuk berkomunikasi antara satu sama lain. Agen isomorfik ini membentuk sistem kerjasama sedia ada. Selepas itu, agen heterogen dengan modaliti atau model persepsi yang tidak pernah muncul di tempat kejadian menyertai sistem kolaboratif. Sifat dinamik ini ialah ciri tersendiri untuk menggunakan penderiaan kolaboratif dalam dunia nyata: kelas ejen tidak ditentukan sepenuhnya pada permulaan dan bilangan jenis mungkin meningkat dari semasa ke semasa. Ia juga agak berbeza daripada masalah penderiaan kolaboratif heterogen sebelumnya di mana kategori heterogen ditentukan dan ditetapkan terlebih dahulu.

Pengenalan kaedah

Rangka kerja kesedaran kolaborasi heterogen terbuka HEAL (HEterogenous ALliance) yang dicadangkan dalam artikel ini mereka bentuk kaedah dua peringkat untuk menambah ejen heterogen baharu kepada kerjasama untuk mencapai pakatan heterogen yang semakin berkembang : i) Kolaboratif latihan, membolehkan ejen awal melatih rangkaian kolaborasi gabungan ciri dan mewujudkan ruang ciri bersatu ii) Latihan ejen baharu, menyelaraskan ciri ejen baharu dengan ruang ciri bersatu yang telah ditubuhkan sebelum ini, dengan itu membolehkan ejen baharu bekerjasama dengan ejen sedia ada; pada tahap ciri.

Untuk setiap jenis ejen baharu yang menyertai kerjasama, hanya latihan fasa kedua diperlukan. Perlu diingat bahawa latihan fasa kedua boleh dijalankan secara bebas oleh pemilik ejen dan tidak melibatkan latihan kolektif dengan ejen sedia ada. Ini membolehkan penambahan ejen baharu dengan kos latihan yang lebih rendah sambil melindungi butiran model ejen baharu daripada terdedah. . berasaskan rangkaian pengesan Kolaboratif. Kami mencadangkan rangkaian gabungan piramid baru untuk mengekstrak dan menggabungkan ciri berbilang ejen Khususnya, untuk ciri BEV yang dikodkan oleh pengekod setiap ejen isomorfik, kami membiarkannya melalui berbilang lapisan rangkaian ResNeXt dengan skala berbeza untuk Mengekstrak butiran kasar. dan maklumat ciri yang terperinci. Untuk peta ciri skala yang berbeza, kami menggunakan rangkaian peramal latar depan padanya untuk menganggarkan kebarangkalian terdapat latar depan seperti kenderaan pada setiap kedudukan ciri BEV. Merentasi rakan usaha sama, peta kebarangkalian latar depan dinormalisasi sebagai taburan berat daripada gabungan berwajaran piksel demi piksel bagi peta ciri. Selepas mendapatkan peta ciri bercantum pada skala yang berbeza, kami menggunakan satu siri rangkaian pensampelan naik untuk menukarnya kepada saiz peta ciri yang sama dan mendapatkan peta ciri bercantum terakhir.

Rajah 4. Rangkaian Gabungan Piramid

Peta ciri bercantum akan melalui kepala pengesan dan ditukarkan kepada hasil pengesanan kolaboratif akhir. Kedua-dua hasil pengesanan kolaboratif dan peta kebarangkalian latar depan diawasi oleh ground-truth. Selepas latihan, parameter rangkaian kerjasama (rangkaian gabungan piramid) menyimpan maklumat ciri yang berkaitan bagi kelas asas kerjasama dan membina ruang ciri yang dikongsi untuk penjajaran seterusnya bagi ejen heterogen baharu.

Fasa 2: Latihan Ejen Baharu

Kami mempertimbangkan untuk menambah jenis ejen heterogen baharu. Kami mencadangkan kaedah penjajaran ke belakang yang baru. Idea teras adalah untuk menggunakan rangkaian gabungan piramid dan ketua pengesanan peringkat sebelumnya sebagai bahagian belakang pengesan ejen baharu, dan hanya mengemas kini parameter yang berkaitan dengan pengekod bahagian hadapan.

Perlu diingat bahawa kami melaksanakan latihan ejen tunggal ke atas ejen tunggal kategori heterogen baharu, dan tidak melibatkan kerjasama antara ejen. Oleh itu, input rangkaian gabungan piramid ialah peta ciri tunggal dan bukannya peta ciri berbilang ejen dalam satu peringkat. Oleh kerana modul gabungan piramid terlatih dan kepala pengesanan ditetapkan sebagai bahagian belakang dan tetap, proses latihan berkembang untuk menyesuaikan pengekod bahagian hadapan kepada parameter hujung belakang supaya ciri yang dikodkan oleh ejen baharu adalah konsisten dengan ruang ciri bersatu. Memandangkan ciri diselaraskan dengan ciri ejen sedia ada, ciri tersebut boleh mencapai kerjasama peringkat ciri berprestasi tinggi.

Penjajaran ke belakang juga menunjukkan kelebihan unik: latihan hanya dilakukan pada ejen tunggal baharu. Ini sangat mengurangkan kos latihan dan kos pengumpulan data penyegerakan spatio-temporal setiap kali ejen baharu ditambahkan. Selain itu, ia menghalang butiran model ejen baharu daripada terdedah kepada orang lain dan membenarkan pemilik ejen baharu melatih model menggunakan data penderia mereka sendiri. Ini akan menangani banyak kebimbangan yang mungkin dihadapi oleh syarikat automotif apabila menggunakan teknologi pengesan kenderaan-ke-kenderaan (V2V) secara kolaboratif.

Hasil eksperimen

Berdasarkan set data OPV2V, kertas kerja ini mencadangkan set data OPV2V-H yang lebih heterogen, menambah data lidar 16 baris dan 32 baris setiap kenderaan, serta data Kamera 4 kedalaman. Keputusan percubaan pada set data OPV2V-H dan set data sebenar DAIR-V2X menunjukkan bahawa HEAL mengurangkan dengan ketara siri kos latihan (parameter latihan, FLOP, masa latihan, dsb.) untuk ejen heterogen menyertai kerjasama, dan juga mengekalkan Extremely prestasi pengesanan kolaboratif yang tinggi. . algoritma penderiaan kolaboratif yang berkesan.

Atas ialah kandungan terperinci "Menyelamatkan" senario heterogen terbuka |. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!