Penyelesaian teknologi pengesan LiDAR dalam keadaan cuaca yang teruk

01 Ringkasan

Kenderaan autonomi bergantung pada pelbagai penderia untuk mengumpul maklumat tentang persekitaran sekelilingnya. Tingkah laku kenderaan dirancang berdasarkan kesedaran alam sekitar, jadi kebolehpercayaannya adalah penting untuk sebab keselamatan. Penderia lidar aktif mampu mencipta perwakilan 3D yang tepat bagi pemandangan, menjadikannya tambahan yang berharga kepada kesedaran alam sekitar kenderaan autonomi. Prestasi LiDAR berubah dalam keadaan cuaca buruk seperti kabus, salji atau hujan disebabkan oleh penyebaran cahaya dan penyumbatan. Batasan ini baru-baru ini telah mendorong sejumlah besar penyelidikan mengenai kaedah untuk mengurangkan kemerosotan prestasi persepsi.

Artikel ini mengumpul, menganalisis dan membincangkan pelbagai aspek penderiaan persekitaran berasaskan LiDAR untuk menangani keadaan cuaca buruk. Topik seperti ketersediaan data yang sesuai, pemprosesan dan denoising awan titik mentah, algoritma persepsi yang mantap, dan gabungan sensor untuk mengurangkan kekurangan yang disebabkan oleh cuaca buruk dibincangkan. Di samping itu, kertas kerja mengenal pasti jurang yang paling mendesak dalam kesusasteraan semasa dan mengenal pasti arah penyelidikan yang menjanjikan.

02 Pengenalan

Penderia LiDAR baru-baru ini mendapat perhatian yang semakin meningkat dalam bidang pemanduan autonomi[1]. Ia memberikan maklumat kedalaman yang jarang tetapi tepat, menjadikannya pelengkap berharga kepada penderia yang dikaji lebih mendalam seperti kamera dan radar. Sensor lidar ialah sensor aktif, bermakna ia memancarkan denyutan cahaya yang dipantulkan oleh persekitaran. Penderia kemudian menangkap cahaya yang dipantulkan dan mengukur jarak ke persekitaran berdasarkan masa berlalu. Selain masa, ciri-ciri lain boleh dinilai, seperti jumlah cahaya dan pemanjangan isyarat. Dalam kebanyakan kes, terdapat komponen mekanikal yang digabungkan dengan berbilang diod laser untuk mencipta awan titik jarang pemandangan lengkap [1]. Terdapat pelbagai sensor yang berbeza di pasaran.

Penderia lidar mempunyai kelemahan yang berbeza dalam keadaan cuaca buruk. Pertama, pembekuan sensor atau komplikasi mekanikal lain boleh berlaku pada suhu beku. Faktor dalaman dan struktur seperti teknologi penderia, model dan lokasi pelekap memainkan peranan dalam tahap kemerosotan. Selain itu, cuaca buruk boleh menjejaskan nilai keamatan, kiraan mata dan ciri awan titik lain (lihat Rajah 1). Secara umumnya, apabila zarah ditemui di udara disebabkan oleh habuk atau cuaca buruk, cahaya yang dipancarkan diserakkan ke belakang atau dialihkan. Ini mengakibatkan jarak bising dan pengukuran pemantulan dalam awan titik kerana beberapa denyutan laser kembali ke penderia sebelum waktunya atau hilang di atmosfera. Bunyi sangat berbahaya apabila menggunakan algoritma pemahaman adegan. Dalam kes penggunaan kritikal keselamatan sedemikian, mengekalkan prestasi ramalan tinggi yang boleh dipercayai adalah amat penting. Oleh itu, langkah balas diperlukan untuk meminimumkan kemerosotan prestasi penderiaan lidar di bawah keadaan cuaca buruk, atau sekurang-kurangnya mengesan had penderia dalam senario dunia sebenar.

Kebanyakan algoritma terkini bergantung pada algoritma pembelajaran mendalam (DL), yang bergantung pada sejumlah besar data untuk memperoleh ciri universal alam sekitar. Walaupun terdapat barisan penyelidikan yang tertumpu pada persepsi tanpa pengawasan, kerja terbaharu memerlukan pelabelan data mentah yang sepadan. Ini termasuk kotak sempadan untuk pengesanan objek dan label kelas dari segi titik untuk segmentasi semantik. Melabel awan titik jarang dan bising secara manual bukan sahaja sukar, tetapi juga mahal dan terdedah kepada ralat. Oleh itu, persoalan bagaimana untuk mensimulasikan atau meningkatkan awan titik sedia ada dengan hingar khusus cuaca amat menarik.

Walaupun terdapat sejumlah besar penyelidikan tentang menganalisis kemerosotan prestasi penderia lidar di bawah keadaan cuaca yang teruk, ringkasan komprehensif tentang langkah balas algoritma untuk meningkatkan persepsi masih kurang. Selain itu, penyiasatan terhadap pemanduan autonomi dalam keadaan cuaca buruk menangani kemerosotan sensor akibat cuaca tetapi tidak mengenal pasti isu berkaitan cuaca khusus untuk penderia lidar. Artikel ini meringkaskan dan menganalisis pelbagai kaedah untuk mengatasi keadaan cuaca buruk untuk penderiaan lidar. Oleh itu, kertas kerja menangani topik ini dari tiga perspektif berbeza:

• Ketersediaan data: set data dunia sebenar dan sintetik untuk membangunkan algoritma persepsi lidar yang mantap 🎜>
• Operasi awan titik: keteguhan cuaca khusus penderia dan pemprosesan awan titik bebas persepsi (cth. klasifikasi cuaca, denoising awan titik); untuk mengendalikan hingar akibat cuaca dalam awan titik dengan menggabungkan berbilang penderia, melaraskan semasa latihan atau meningkatkan keteguhan keseluruhan model persepsi.
• Akhir sekali, jurang yang hilang dalam teknologi semasa dan hala tuju penyelidikan yang paling menjanjikan diringkaskan.

03 Data Cuaca Buruk

Untuk melatih model DL mengenai sebarang jenis tugas persepsi, sejumlah besar data diperlukan. Untuk kaedah seliaan yang masih mendominasi, data ini malah perlu dilabelkan dengan kaedah pelabelan automatik atau secara manual. Sama ada cara, mendapatkan data lidar jarang yang dilabel dengan tepat adalah mahal dan menyusahkan, dan seterusnya terhalang apabila awan titik mentah rosak oleh hingar akibat cuaca.

Oleh itu, set data berharga dengan label berkualiti tinggi diperlukan. Secara amnya, terdapat tiga pilihan untuk mendapatkan awan titik lidar dengan corak hingar ciri cuaca: rakaman dunia sebenar, awan titik dipertingkatkan dan awan titik simulasi. Yang pertama dijana menggunakan kenderaan ujian dengan persediaan penderia yang sesuai dalam keadaan cuaca yang teruk. Pendekatan terakhir memerlukan model fizikal atau kaedah berasaskan DL untuk mencipta bahagian atau keseluruhan awan titik.

Set Data Dunia Sebenar

Kebanyakan set data sedia ada untuk penanda aras persepsi lidar direkodkan di bawah keadaan cuaca yang menggalakkan. Untuk menggunakan algoritma persepsi yang dibangunkan di dunia nyata, set data asas mesti mencerminkan semua keadaan cuaca. Selain keadaan cuaca yang cerah, terdapat set data yang luas yang secara eksplisit termasuk hujan, salji dan kabus.

Jadual I menunjukkan gambaran keseluruhan set data yang tersedia secara terbuka yang digunakan untuk mengkaji persepsi lidar dalam keadaan cuaca yang teruk. Set data telah direkodkan dalam keadaan yang berbeza dan sangat berbeza dari segi saiz. Kebanyakannya sebenarnya direkodkan dalam senario pemanduan dunia sebenar, manakala dua daripadanya (sebahagiannya) daripada ruang cuaca. Ruang cuaca mempunyai kelebihan mempunyai kawalan sepenuhnya terhadap keadaan cuaca dan persekitaran sekeliling, iaitu dari segi halangan. Walau bagaimanapun, mereka tidak menggambarkan situasi dunia sebenar dengan secukupnya.



Selain itu, setiap set data menggunakan persediaan penderia yang berbeza. [27] menanda aras pengeluar dan model lidar secara khusus di bawah keadaan cuaca yang teruk. Selain penderia LiDAR, semua set data menyediakan rakaman kamera RGB, dan sesetengah set data juga termasuk radar, stereo, acara, kamera berpagar atau inframerah.

Set data ini direka bentuk untuk menangani persepsi berbeza dan tugas memandu kenderaan autonomi. Hampir semua tetapan penderia (kecuali [21]) termasuk penderia kedudukan dan gerakan, iaitu GPS/GNSS dan IMU. Oleh itu, ia sesuai untuk membangunkan dan menguji algoritma SLAM. Semua set data menyediakan label untuk pengesanan objek atau segmentasi dari segi titik kecuali [29] yang hanya menyediakan gerakan GT.

Akhir sekali, semua set data menyertakan beberapa metadata tentang keadaan cuaca. Ini penting untuk membangunkan hampir semua jenis model persepsi dalam keadaan cuaca yang teruk. Memahami keamatan dan sifat keadaan cuaca di sekeliling adalah penting, sekurang-kurangnya untuk pengesahan menyeluruh. Hanya satu set data menyediakan label cuaca dari sudut, iaitu salji di tepi jalan dan pengumpulan salji.

Kelebihan set data yang terdiri daripada rekod dunia sebenar ialah ia sangat realistik. Kelemahannya ialah label untuk adegan yang dirakam hanya tersedia sebahagian (titik demi titik) atau, jika data direkodkan dalam ruang cuaca, terhad kepada senario dunia sebenar yang lebih kompleks. Pelabelan titik demi titik secara manual bagi awan titik lidar di bawah keadaan cuaca buruk adalah amat mencabar kerana dalam banyak kes adalah tidak praktikal untuk membezakan kekacauan atau bunyi daripada isyarat yang dipantulkan sebenar.

Penambahan cuaca

Melanjutkan kesan cuaca buruk kepada set data sedia ada menyediakan cara untuk menjana sejumlah besar pendekatan cekap data bukannya membosankan mengumpul dan melabel set data baharu kesan cuaca buruk yang berbeza. Lazimnya, model pembesaran berasaskan fizikal atau empirikal digunakan untuk menambah kesan cuaca buruk tertentu kepada awan titik cuaca yang jelas, sama ada ia dipacu dari dunia nyata atau daripada simulasi. Ini membolehkan untuk mendapatkan adegan yang rosak oleh hingar khusus cuaca, sambil mengekalkan semua kes tepi yang menarik dan anotasi yang sudah ada dalam set data.

Kaedah pembesaran mentakrifkan pemetaan daripada titik cuaca cerah ke titik sepadan di bawah keadaan cuaca buruk. Untuk tujuan ini, rujukan sering dibuat kepada model lidar teori dalam [32], yang memodelkan kesan hujan buruk, kabus dan salji. Ia memodelkan taburan keamatan yang diterima sebagai sistem linear dengan melilitkan nadi yang dipancarkan dengan tindak balas adegan. Model tindak balas adegan pantulan daripada objek pepejal serta serakan belakang dan pengecilan akibat cuaca buruk.

Peningkatan kabus yang lebih praktikal diperkenalkan dalam [9], yang boleh digunakan terus pada awan titik. Ia berdasarkan julat penglihatan maksimum yang merupakan fungsi keamatan pengukuran, parameter lidar dan keterlihatan optik dalam kabus. Jika jarak titik cuaca cerah lebih rendah daripada jarak tontonan maksimum, titik serakan rawak akan muncul, atau titik itu akan hilang dengan kebarangkalian tertentu. Model ini menampung hujan dengan menukar parameter keterlihatan dan kebarangkalian serakan kepada kadar hujan.

Walau bagaimanapun, model ini mengabaikan perbezaan pancaran denyutan lidar yang dipancarkan yang dipertimbangkan untuk peningkatan hujan. Di sini, bilangan persilangan rasuk supersampel simulasi rasuk divergens dengan titisan hujan sfera dikira. Jika bilangan persimpangan melebihi ambang tertentu, titik taburan ditambah. Kaedah pembesaran dalam [35] memanjangkan pendekatan ini supaya titik yang hilang adalah mungkin. Selain itu, ia berfungsi dengan baik dalam salji dan kabus.

Satu lagi peningkatan untuk kabus, salji dan hujan diperkenalkan dalam [36]. Model ini beroperasi dalam domain kuasa dan tidak bergantung, sebagai contoh, pada pengiraan titik silang seperti kaedah yang dibincangkan sebelum ini. Selain itu, strategi persampelan jarak titik taburan yang lebih cekap secara pengiraan digunakan untuk mensimulasikan perbezaan rasuk. Biasanya, model pertama membandingkan kuasa dilemahkan yang dipantulkan daripada objek pepejal dan penyerak sampel secara rawak kepada ambang hingar yang bergantung kepada jarak. Titik taburan ditambah jika kuasanya melebihi kuasa objek pepejal. Jika titik berada di bawah ambang hingar bergantung jarak, titik itu hilang.

Selain model berasaskan fizik, model empirikal juga boleh digunakan untuk peningkatan. Kaedah peningkatan empirikal untuk semburan yang digulung oleh kenderaan lain boleh didapati di [38]. Inti kepada model ini ialah pemerhatian daripada eksperimen khusus bahawa semburan disusun ke dalam kelompok. Satu lagi pendekatan dipacu data dicadangkan dalam [39], yang bergantung pada adegan semburan daripada dataset Waymo. Dalam [40], kaedah peningkatan semburan yang lebih mahal secara pengiraan dicadangkan yang bergantung pada pemapar dengan enjin fizik.

Akhir sekali, kaedah berasaskan DL boleh digunakan untuk peningkatan cuaca buruk. Dalam [41], diilhamkan oleh terjemahan imej-ke-imej, kaedah berdasarkan rangkaian musuh generatif (GAN) dicadangkan, yang mampu mengubah awan titik daripada hari cerah kepada hari berkabus atau hujan. Mereka secara kualitatif membandingkan keputusan mereka dengan kabus sebenar dan awan hujan dari ruang cuaca.

Walau bagaimanapun, menilai kualiti dan realisme kaedah pembesaran adalah mencabar. Sesetengah pengarang menggunakan ruang cuaca atau persekitaran terkawal lain untuk membenarkan perbandingan dengan kesan cuaca dunia sebenar. Tambahan pula, kaedah pembesaran secara amnya dianggap realistik jika ia menyumbang kepada prestasi yang dirasakan di bawah keadaan cuaca buruk dunia sebenar.

04 Point Cloud Processing and Denoising

Bahagian ini menerangkan kaedah untuk menangani keadaan cuaca buruk, yang berdasarkan teknologi penderia atau awan titik , iaitu, bebas daripada tugas persepsi sebenar. Oleh itu, kertas kerja menganalisis keteguhan cuaca berkaitan sensor umum dan kemungkinan menganggar tahap kemerosotan prestasi bergantung pada keadaan cuaca. Tambahan pula, terdapat banyak kajian mengenai penyingkiran hingar akibat cuaca daripada awan titik lidar menggunakan kaedah denoising klasik dan DL.

Keteguhan cuaca berkaitan sensor

Bergantung pada teknologi, ciri dan konfigurasi, model lidar yang berbeza atau berbilang Mungkin kurang terjejas oleh keadaan cuaca. Disebabkan oleh sekatan keselamatan mata dan penindasan cahaya ambien, dua panjang gelombang operasi penderia lidar mendominasi: 905nm dan 1550nm, dengan 905nm sebagai penderia yang paling tersedia. Ini sebahagiannya disebabkan oleh prestasi yang lebih baik dalam keadaan cuaca buruk, iaitu penyerapan yang lebih rendah oleh titisan hujan, pemantulan yang lebih baik dalam salji dan kurang degradasi dalam kabus. Untuk perbincangan komprehensif mengenai teknologi lidar dan panjang gelombang di bawah keadaan cuaca yang teruk, kami merujuk kepada [17].

Selain itu, prestasi lidar bentuk gelombang penuh (FWL) dalam keadaan cuaca buruk telah dikaji. FWL mengukur bukan sahaja satu atau dua gema, tetapi semua gema yang lebih lemah, mengukur lebih banyak bunyi secara berkesan tetapi juga mengumpul lebih banyak maklumat tentang persekitaran sekeliling. Walaupun FWL memerlukan sumber pengiraan yang tinggi, ia telah terbukti berguna untuk menganalisis medium sekeliling, yang boleh menyediakan asas untuk memahami walaupun mengubah keadaan dan menyesuaikannya secara dinamik.

Anggaran degradasi sensor dan klasifikasi cuaca

Memandangkan penderia lidar merosot secara berbeza dalam keadaan cuaca yang berbeza, menganggarkan tahap kemerosotan penderia ialah langkah pertama dalam memproses awan titik lidar yang rosak. Kemajuan telah dibuat dalam membangunkan kaedah untuk mengenal pasti had pengesan dengan lebih baik untuk mengelakkan pengesanan palsu daripada merebak ke tugas hiliran.

Pertama, beberapa kajian mengenai pencirian kemerosotan penderia di bawah pelbagai keadaan cuaca meletakkan asas yang kukuh untuk penentukuran dan pembangunan lanjut penderia dalam keadaan cuaca yang teruk, walaupun ia masih belum terluluhawa. Keupayaan pengelasan dinilai. Kerja pertama untuk benar-benar mensimulasikan kesan hujan pada sensor lidar dibentangkan dalam [33]. Penulis mencadangkan model matematik yang diperoleh daripada persamaan lidar dan membenarkan anggaran penurunan prestasi berdasarkan kadar hujan dan julat penderiaan maksimum.

Dalam kerja penyelidikan seterusnya, anggaran degradasi sensor di bawah keadaan cuaca yang teruk telah dirumuskan sebagai tugas pengesanan anomali dan tugas pengesahan. Yang pertama menggunakan model berasaskan DL yang direka bentuk untuk mempelajari perwakilan terpendam yang membezakan imbasan LiDAR yang jelas daripada imbasan LiDAR hujan, dengan itu dapat mengukur tahap kemerosotan prestasi. Pendekatan terakhir mencadangkan penggunaan model pembelajaran tetulang (RL) untuk mengenal pasti kegagalan dalam model pengesanan dan pengesanan objek.

Walaupun kaedah di atas bertujuan untuk mengukur kemerosotan prestasi penderia itu sendiri, satu lagi siri kajian memfokuskan pada klasifikasi keadaan cuaca ambien (iaitu cerah, hujan, kabus dan salji). Keputusan yang memuaskan telah dicapai dengan bantuan kaedah pembelajaran mesin klasik (jiran k-terdekat dan mesin vektor sokongan) berdasarkan ciri buatan tangan awan titik LiDAR: [10] mencadangkan set ciri untuk melaksanakan klasifikasi Cuaca dari segi titik.

[51] membangunkan model kebarangkalian untuk regresi bingkai demi bingkai kadar hujan. Bekerjasama dengan pakar, mereka membuat kesimpulan dengan tepat kadar hujan daripada awan titik lidar.

Perlu diingatkan bahawa kebanyakan kaedah dilatih dan dinilai pada data yang dikumpul dalam ruang cuaca. Walaupun keupayaan untuk mengawal keadaan cuaca dengan teliti membolehkan kebolehulangan yang tinggi, data selalunya tidak menggambarkan keadaan dunia sebenar dengan tepat. Untuk menilai keupayaan pengelasan setiap kaedah, kajian menyeluruh tentang data dunia sebenar adalah perlu [50].

Point Cloud Denoising

Kesan cuaca dicerminkan dalam awan titik LiDAR sebagai corak hingar tertentu. Seperti yang dinyatakan dalam Bahagian 1, ia boleh menjejaskan faktor seperti bilangan ukuran dalam awan titik dan julat penderiaan maksimum. Awan titik boleh dinafikan dengan pelbagai kaedah untuk membina semula ukuran yang jelas dan bukannya menambah awan titik dengan hingar khusus cuaca. Sebagai tambahan kepada algoritma penapisan klasik, beberapa kerja penyahtinjaan berasaskan DL telah muncul baru-baru ini.

Selain menggunakan tugas persepsi seperti pengesanan objek pada awan titik terdenoised, metrik seperti ketepatan (memelihara ciri alam sekitar) dan ingat semula (menapis hingar akibat cuaca) berguna untuk menilai prestasi kaedah penapisan klasik adalah penting. Untuk mengira metrik ini, penanda titik demi titik diperlukan untuk mengambil kira kategori cuaca seperti zarah salji.

Radius Outlier Removal (ROR) menapis bunyi berdasarkan kejiranan mana-mana titik. Ini menjadi masalah untuk pengukuran LiDAR bagi objek jauh, kerana awan titik menjadi jarang secara semula jadi. Kaedah lanjutan menangani masalah ini dengan melaraskan ambang secara dinamik berdasarkan jarak penderiaan (Penyingkiran Luar Jejari Dinamik (DROR)) atau mengambil kira jarak purata ke jiran setiap titik dalam awan titik (Penyingkiran Outlier Statistik). Kedua-dua kaedah mempamerkan masa berjalan yang tinggi, menjadikannya hampir tidak sesuai untuk pemanduan autonomi. Penyingkiran Outlier Statistik Pengelompokan Pantas (FCSOR) dan Penyingkiran Outlier Statistik Dinamik (DSOR) kedua-duanya mencadangkan kaedah untuk mengurangkan beban pengiraan sambil masih mengalih keluar artifak cuaca daripada awan titik.

Kaedah denoising lidar tepi jalan bergantung pada model latar belakang data sejarah (yang boleh digunakan untuk membetulkan sensor tepi jalan), digabungkan dengan prinsip asas yang digunakan dalam denoising klasik untuk mengenal pasti titik dinamik . [57] menapis bunyi cuaca daripada objek sebenar dengan bantuan ambang keamatan. Malangnya, ini tidak mudah digunakan untuk penderia lidar yang dipasang pada kenderaan bergerak.

Bertentangan dengan kaedah denoising klasik, denoising awan lidar berasaskan DL adalah popular kerana model ini dapat memahami secara langsung struktur asas hingar cuaca: pertama, berdasarkan rangkaian neural convolutional (CNN) Model ini telah digunakan untuk mengurangkan cuaca yang berkesan. Menggunakan data temporal untuk pembezaan seterusnya mengeksploitasi penyingkiran hingar khusus cuaca kerana, secara semula jadi, hingar cuaca berubah lebih kerap daripada latar belakang pemandangan atau objek dalam tempat kejadian. Kaedah berasaskan CNN (terutama kaedah berasaskan voxel) mengatasi kaedah denoising klasik dari segi penapisan hingar. Selain itu, memandangkan GPU mengira lebih pantas, masa inferensnya lebih rendah.

Selain kaedah CNN yang diselia, kaedah tanpa pengawasan seperti CycleGANs mampu mengubah input awan titik bising kepada imbasan lidar yang jelas. Walau bagaimanapun, sifatnya masih bising dan awan titik yang terhasil sukar untuk disahkan keasliannya.

05 Penderiaan lidar yang teguh

Walaupun usaha yang baik dalam mengurangkan peralihan medan yang disebabkan oleh cuaca buruk, terdapat beberapa cara yang mungkin untuk membuat lidar penderiaan model yang lebih teguh kepada keadaan cuaca buruk, bebas daripada kualiti dan tahap hingar data. Terdapat tiga aliran kerja di sini: memanfaatkan gabungan sensor, meningkatkan latihan melalui penambahan data dengan hingar khusus cuaca, atau pendekatan umum untuk memodelkan keteguhan terhadap peralihan domain untuk mengimbangi kemerosotan prestasi. Perlu diingatkan bahawa kaedah gabungan sensor adalah satu-satunya kaedah yang menyelesaikan pelbagai tugas penderiaan selain pengesanan objek. Untuk pengetahuan terbaik kertas kerja, tidak ada literatur mengenai tugas persepsi lain seperti segmentasi semantik.

Menggunakan gabungan sensor untuk menghadapi cuaca buruk

Secara umumnya boleh dikatakan bahawa setiap sensor dalam pemanduan autonomi kumpulan sensor Mempunyai kelebihan dan kekurangannya. Penderia yang paling biasa dalam kumpulan penderia ini ialah kamera RGB, radar dan lidar. Seperti yang dinyatakan dalam Bahagian 1, persepsi lidar terjejas apabila menghadapi zarah bawaan udara yang boleh dilihat seperti habuk, hujan, salji atau kabus. Kamera lebih sensitif kepada kejadian cahaya yang kuat dan kesan halo. Radar, sebaliknya, kebal terhadap kedua-duanya, tetapi tidak mempunyai keupayaan untuk mengesan objek statik dan struktur halus. Oleh itu, ia memaksa dirinya untuk menggabungkan sensor yang berbeza untuk mengurangkan kelemahan masing-masing dan menggalakkan persepsi yang mantap di bawah keadaan persekitaran yang berbeza.

Kerja awal pada gabungan penderia untuk memerangi kesan buruk cuaca pada persepsi penderia yang tertumpu pada pembangunan rangka kerja korelasi data yang mantap. Aliran penyelidikan terkini menggunakan kaedah berasaskan DL untuk persepsi pelbagai modal yang teguh dan terutamanya menangani isu gabungan awal berbanding lewat untuk mencapai keteguhan dalam keadaan cuaca buruk.

Pilihan sebelum atau selepas gabungan nampaknya bergantung pada pemilihan penderia, perwakilan data dan jangkaan kadar kegagalan. Dengan mengandaikan bahawa tidak semua penderia bercantum direndahkan pada tahap yang sama dan sekurang-kurangnya satu daripadanya berfungsi sepenuhnya, gabungan lewat nampaknya lebih baik daripada gabungan awal. Dalam kes ini, model dapat memproses aliran sensor secara bebas, ia dapat bergantung pada sensor yang berfungsi dan mengabaikan sensor yang rosak. Sebaliknya, gabungan awal radar dan peta kedalaman lidar membantu menapis pengesanan palsu untuk mencapai imbasan bersih.

Perwakilan data ialah faktor lain yang sebahagiannya membantu menjawab soalan gabungan awal berbanding lewat. Pandangan Mata Burung (BEV) penderia LiDAR sangat memudahkan pengesanan objek dengan meningkatkan kebolehselesaian objek. Oleh itu, mana-mana model yang telah belajar bergantung pada ciri lidar masing-masing akan mengalami kehilangan prestasi apabila data lidar rosak. Kegagalan sensor lengkap telah berjaya diselesaikan menggunakan rangkaian guru-pelajar.

Akhirnya, beberapa kaedah gabungan sensor bergantung pada gabungan gabungan awal dan lewat ke dalam model tunggal dan menggunakan data temporal dan gabungan berasaskan wilayah [72] atau peta perhatian [73] dsb. . Kemungkinan lain ialah gabungan kawalan adaptif, entropi yang dicadangkan dalam [21].

Selain prestasi ramalan, masa jalan model juga harus dipertimbangkan semasa membangunkan kaedah persepsi baharu. [68] memperkenalkan metrik baharu yang menggabungkan prestasi ramalan yang mendorong pembahagian ruang dengan masa jalan inferens. Menariknya, model lidar sahaja mendapat markah tertinggi pada metrik ini.

Tidak syak lagi bahawa ia adalah mudah untuk mengimbangi kegagalan sensor dengan sensor yang tidak terjejas semasa keadaan cuaca buruk. Walau bagaimanapun, dengan berusaha untuk meningkatkan persepsi dalam keadaan cuaca buruk hanya menggunakan lidar, aplikasi kritikal keselamatan seperti pemanduan autonomi boleh menjadi lebih dipercayai.

Meningkatkan latihan melalui penambahan data

Walaupun penambahan data digunakan secara meluas dalam strategi latihan DL, hingar khusus cuaca amat mencabar pengeluaran. Bahagian 2 membentangkan pelbagai kaedah untuk menghasilkan bunyi cuaca tertentu dalam awan titik lidar. Menggunakan penambahan data semasa latihan model persepsi ialah pendekatan jejari untuk menghilangkan awan titik, yang telah dibincangkan dalam III. Matlamatnya bukan untuk menghilangkan bunyi yang disebabkan cuaca, tetapi untuk membiasakan model dengan bunyi yang tepat ini. Telah ditunjukkan bahawa peningkatan cuaca adalah lebih berkesan daripada mengurangkan dari segi keteguhan, yang memberikan petunjuk berharga tentang arah penyelidikan yang harus ditekankan pada masa hadapan.

Secara umumnya, beberapa karya telah menunjukkan faedah penambahan data sedemikian pada masa latihan dengan menilai data ini dalam pengesanan objek 3D tugas.

Banyak kerja menangani masalah memilih pengekstrak ciri optimum untuk persepsi lidar yang teguh di bawah keadaan cuaca yang teruk. Kaedah berasaskan titik dan voksel kelihatan kurang terjejas oleh kesan cuaca yang dipertingkatkan, sekurang-kurangnya berkenaan dengan pengesanan objek, menunjukkan bahawa beberapa keteguhan boleh dicapai melalui pilihan model persepsi yang teliti. Tambahan pula, nampaknya terdapat interaksi antara seni bina model dan kerosakan awan titik yang disebabkan oleh cuaca buruk. Sambungan tanah lembap yang dicadangkan dalam [4] hanya membantu beberapa model, menunjukkan bahawa masalah pengesanan yang disebabkan oleh penyebaran sinar adalah lebih atau kurang teruk, bergantung pada seni bina model.

Selain itu, saiz dan bentuk objek kelihatan memainkan peranan dalam tahap kemerosotan prestasi mana-mana model pengesanan. Ini bermakna kelas yang lebih kecil dan kurang diwakili, seperti kelas penunggang basikal dalam set data STF, lebih terdedah kepada peningkatan cuaca berbanding kelas yang diwakili lebih baik, seperti kereta dan pejalan kaki. Oleh itu, bilangan objek beranotasi (jelas) dalam set latihan adalah penunjuk prestasi pengesanan objek yang baik walaupun dalam keadaan cuaca buruk. Ini menunjukkan bahawa latihan tambahan cuaca bukan sahaja membantu meningkatkan prestasi pengesanan dalam keadaan cuaca cerah, tetapi menariknya, ia juga kelihatan mempunyai kesan sebaliknya.

Algoritma persepsi teguh

Walaupun kaedah gabungan dengan sensor pelengkap boleh mengurangkan masalah berkaitan cuaca yang disebabkan oleh setiap kemerosotan prestasi sensor, tetapi ia hanya boleh digunakan sebagai penyelesaian kepada masalah praktikal semasa. Perubahan dalam keadaan cuaca boleh dianggap sebagai kes khas pemindahan domain, dan oleh itu, kaedah yang dibangunkan untuk merapatkan jurang domain boleh digunakan untuk pemindahan domain cuaca-ke-cuaca (cth., cerah/kabus/salji). [77] memberikan gambaran menyeluruh tentang kaedah penyesuaian dalam keadaan terkini, tetapi mereka menangani masalah yang berkaitan dengan resolusi penderia yang berbeza atau data yang tersedia dan labelnya.

Dalam [78], pengarang mencadangkan pemindahan domain set data ke set data, yang secara tidak langsung merangkumi perubahan cuaca. Mereka menggunakan tetapan guru-pelajar untuk pengesanan objek, di mana guru dilatih pada Waymo Open (hari cerah) dan menjana label untuk sebahagian Waymo Open dan sebahagian Kirkland (hari hujan), dan pelajar dilatih pada semua label dan digunakan pada Kirkland. Menariknya, pelajar nampaknya membuat generalisasi yang lebih baik kepada domain sasaran, mencadangkan mereka dapat menghadapi cuaca buruk. Walau bagaimanapun, perlu diingatkan bahawa jurang domain tidak terhad kepada perubahan antara keadaan cuaca dan faktor lain seperti resolusi penderia dan strategi pelabelan mungkin menutup jurang yang disebabkan oleh cuaca.

Pengarang [79] mencadangkan saluran paip pengesanan objek yang mantap, termasuk mekanisme perhatian dan pengekstrakan ciri kontekstual global, yang membolehkan model mengabaikan hingar akibat cuaca sambil memahami keseluruhan adegan. Walaupun kaedah mereka tidak menunjukkan prestasi yang baik pada kedua-dua domain (KITTI, cerah dan CADC, hujan) pada masa yang sama, latihan bersama berdasarkan kehilangan perbezaan maksimum membuahkan hasil yang menjanjikan dan berprestasi baik pada kedua-dua domain sumber dan sasaran. Di sini sekali lagi, adalah tidak jelas elemen model mana yang dikaitkan dengan perubahan dalam keadaan cuaca itu sendiri, kerana variasi set data ke set data nampaknya sangat kuat.

[80] memfokuskan pada mengurangkan kemerosotan sensor kamera RGB dan lidar yang disebabkan oleh cuaca. Walaupun mereka mengeksploitasi gabungan sensor (berasal daripada gabungan entropi yang dicadangkan dalam [21]) serta penambahan data daripada dua sensor, kerja mereka sangat menggalakkan penggunaan satu set kaedah untuk merapatkan jurang dengan berbilang domain sasaran yang tidak diketahui, untuk pengesanan sasaran. Mereka mencapai ini dengan memperkenalkan pendiskriminasi domain dan pembelajaran diselia sendiri melalui strategi pra-latihan. Keputusan mereka menunjukkan bahawa kaedah penyesuaian domain berbilang mod dan berbilang objek mereka digeneralisasikan dengan baik, sebagai contoh, pemandangan kabus.

06 Perbincangan dan Kesimpulan

Dalam kertas tinjauan ini, kertas kerja ini menggariskan arah penyelidikan semasa dalam persepsi persekitaran berasaskan lidar untuk pemanduan autonomi dalam keadaan cuaca yang teruk. Kertas kerja ini menyediakan analisis dan perbincangan yang mendalam tentang ketersediaan data latihan untuk algoritma pembelajaran mendalam, teknik pemprosesan awan titik bebas persepsi untuk mengesan keadaan cuaca dan mengecilkan imbasan lidar, dan kaedah terkini untuk persepsi lidar yang mantap . Dalam perkara berikut, hala tuju penyelidikan yang paling menjanjikan diringkaskan dan jurang yang selebihnya dikenal pasti.

Data Cuaca Buruk: Terdapat beberapa set data pemanduan autonomi, termasuk penderia lidar, yang turut meliputi keadaan cuaca buruk. Kebanyakannya menyediakan label objek, tetapi hanya satu yang mempunyai label kelas dari segi titik. Jelas sekali, set data dunia sebenar yang sesuai diperlukan untuk melatih dan mengesahkan peningkatan bilangan algoritma pengesan lidar berasaskan pembelajaran mendalam. Sesetengah kerja menggunakan penambahan data khusus cuaca untuk mensimulasikan kesan cuaca buruk, walau bagaimanapun, kaedah untuk menilai realisme penambahan yang dijana tiada.

Pemprosesan awan titik dan denosing: Teknologi lidar yang berbeza bertindak balas secara berbeza terhadap keadaan cuaca buruk. Walaupun degradasi sensor di bawah keadaan cuaca yang teruk telah dikaji secara intensif, terdapat kekurangan analisis sistematik kesan ke atas algoritma penderiaan. Di sini, kaedah anggaran degradasi sensor akan berguna. Selain itu, pada masa ini terdapat penyelidikan yang sedang dijalankan tentang penyahnodahan awan, tetapi kaedah statistik sedia ada telah terbukti kurang berkesan daripada menggunakan kaedah penambahan cuaca dalam latihan. Kaedah moden, seperti yang berdasarkan CNN atau GAN, mungkin merapatkan jurang ini.

Penderiaan lidar teguh: Banyak penyelidikan memfokuskan pada mengurangkan kemerosotan penderia dengan bantuan gabungan penderia. Walaupun ini membuahkan hasil yang menarik, meningkatkan persepsi dalam keadaan cuaca buruk menggunakan lidar sahaja tidak boleh diabaikan. Kaedah penyesuaian domain yang canggih seperti pengesanan anomali atau pemodelan ketidakpastian boleh membantu menyelesaikan masalah ini. Memerhatikan kehadiran bunyi akibat cuaca dalam awan titik lidar dari perspektif yang berbeza boleh membuka aliran penyelidikan baharu yang merapatkan jurang dalam medan yang disebabkan oleh keadaan cuaca buruk. Kualiti menyiasat jurang dalam domain ini akan mencadangkan potensi pendekatan penyesuaian domain umum.

Atas ialah kandungan terperinci Penyelesaian teknologi pengesan LiDAR dalam keadaan cuaca yang teruk. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!