Set data dan persepsi memandu dalam keadaan cuaca yang berulang dan mencabar

Kertas arXiv "Ithaca365: Set Data dan Persepsi Memandu di bawah Keadaan Cuaca Berulang dan Mencabar", dimuat naik pada 1, 22 Ogos, adalah hasil kerja universiti Cornell dan Ohio State.

Dalam beberapa tahun kebelakangan ini, keupayaan persepsi kenderaan autonomi telah bertambah baik disebabkan penggunaan set data berskala besar, yang sering dikumpulkan di lokasi tertentu dan dalam keadaan cuaca yang baik. . Walau bagaimanapun, untuk memenuhi keperluan keselamatan yang tinggi, sistem penderiaan ini mesti beroperasi dengan teguh dalam pelbagai keadaan cuaca, termasuk keadaan salji dan hujan.

Artikel ini mencadangkan set data untuk mencapai pemanduan autonomi yang mantap, menggunakan proses pengumpulan data baharu, iaitu, dalam senario yang berbeza (bandar, lebuh raya, kawasan luar bandar, kampus), cuaca (salji, hujan, matahari) , masa Data direkodkan berulang kali sepanjang laluan 15 km di bawah (siang/malam) dan keadaan lalu lintas (pejalan kaki, penunggang basikal dan kereta).

Dataset termasuk imej dan awan titik daripada kamera dan penderia lidar, serta GPS/INS berketepatan tinggi untuk mewujudkan surat-menyurat merentas laluan. Set data termasuk anotasi jalan dan objek, oklusi setempat dan kotak sempadan 3-D yang ditangkap dengan topeng amodal.

Laluan berulang membuka arah penyelidikan baharu untuk penemuan sasaran, pembelajaran berterusan dan pengesanan anomali.

Pautan Ithaca365: Set data baharu untuk membolehkan pemanduan autonomi yang mantap melalui proses pengumpulan data baharu

Gambar menunjukkan konfigurasi penderia pengumpulan data:

Rajah a menunjukkan peta laluan dengan imej yang ditangkap di berbilang lokasi. Pemacu dijadualkan untuk mengumpul data pada masa yang berbeza dalam sehari, termasuk pada waktu malam. Catatkan keadaan salji tebal sebelum dan selepas pembersihan jalan.

Ciri utama set data ialah lokasi yang sama boleh diperhatikan dalam keadaan yang berbeza; contoh ditunjukkan dalam Rajah b.

Rajah menunjukkan analisis traversal dalam keadaan berbeza:

---

Membangunkan alat penanda tersuai, digunakan untuk mendapatkan topeng amodal jalan dan objek. Untuk label jalan di bawah keadaan persekitaran yang berbeza, seperti jalan yang dilitupi salji, gunakan laluan berulang pada laluan yang sama. Secara khusus, peta jalan awan titik yang dibina daripada data sikap GPS dan lidar menukar label jalan "cuaca baik" kepada "cuaca buruk".

Laluan/data dibahagikan kepada 76 selang. Unjurkan awan titik ke dalam BEV dan labelkan jalan menggunakan anotasi poligon. Setelah jalan ditandakan dalam BEV (menjana sempadan jalan 2-D), poligon diuraikan kepada poligon 150 m^2 yang lebih kecil, menggunakan ambang ketinggian purata 1.5 m, dan padanan satah dilakukan pada titik dalam poligon. sempadan untuk menentukan ketinggian jalan.

Gunakan RANSAC dan regressor untuk memuatkan satah ke titik ini kemudian gunakan anggaran satah tanah untuk mengira ketinggian setiap titik di sepanjang sempadan. Unjurkan titik jalan ke dalam imej dan cipta topeng kedalaman untuk mendapatkan label bukan modal jalan. Memadankan lokasi dengan peta bertanda dengan GPS dan mengoptimumkan laluan dengan ICP membolehkan satah darat diunjurkan ke lokasi tertentu pada laluan pengumpulan baharu.

Lakukan semakan akhir pada penyelesaian ICP dengan mengesahkan bahawa purata topeng kebenaran tanah yang diunjurkan bagi label jalan sepadan dengan 80% mIOU dengan semua topeng kebenaran tanah yang lain di lokasi yang sama, jika tidak, tanya data lokasi tidak boleh diambil semula.

Sasaran bukan modal dilabelkan dengan Skala AI untuk enam kategori sasaran latar depan: kereta, bas, trak (termasuk kargo, trak bomba, trak pikap, ambulans), pejalan kaki, penunggang basikal dan penunggang motosikal.

Paradigma pelabelan ini mempunyai tiga komponen utama: mula-mula mengenal pasti tika objek yang boleh dilihat, kemudian membuat kesimpulan topeng segmentasi tika tersumbat, dan akhirnya melabelkan susunan oklusi setiap objek. Penandaan dilakukan pada paparan kamera paling kiri ke hadapan. Mengikuti piawaian yang sama seperti KINS ("Segmentasi contoh amodal dengan dataset kins". CVPR, 2019).

Untuk menunjukkan kepelbagaian alam sekitar dan kualiti amodal set data, dua rangkaian garis dasar telah dilatih dan diuji untuk mengenal pasti jalan amodal pada tahap piksel, berfungsi walaupun ketika jalan dilitupi salji atau kereta. Rangkaian asas pertama ialah Semantic Foreground Inpainting (SFI). Garis asas kedua, seperti yang ditunjukkan dalam rajah, menggunakan tiga inovasi berikut untuk menambah baik SFI.

1. Kedudukan dan Saluran Nota: Oleh kerana pembahagian amodal terutamanya menyimpulkan perkara yang tidak kelihatan, konteks ialah petunjuk yang sangat penting. DAN (“Rangkaian perhatian dwi untuk pembahagian pemandangan“, CVPR’2019) memperkenalkan dua inovasi untuk menangkap dua latar belakang berbeza. Modul Perhatian Kedudukan (PAM) menggunakan ciri piksel untuk memfokus pada piksel imej yang lain, sebenarnya menangkap konteks daripada bahagian lain imej. Modul Perhatian Saluran (CAM) menggunakan mekanisme perhatian yang serupa untuk mengagregatkan maklumat saluran dengan cekap. Di sini kedua-dua modul ini digunakan pada pengekstrak ciri tulang belakang. Menggabungkan CAM dan PAM untuk penyetempatan sempadan topeng halus yang lebih baik. Topeng contoh latar depan terakhir diperoleh melalui lapisan pensampelan naik.
2. Pengumpulan hibrid sebagai pengecatan: Pengumpulan maksimum digunakan sebagai operasi menampal untuk menggantikan ciri latar depan bertindih dengan ciri latar belakang berdekatan untuk membantu memulihkan ciri jalan bukan modal. Walau bagaimanapun, oleh kerana ciri latar belakang biasanya diedarkan dengan lancar, operasi pengumpulan maksimum adalah sangat sensitif kepada sebarang bunyi tambahan. Sebaliknya, operasi pengumpulan purata secara semulajadi mengurangkan bunyi bising. Untuk tujuan ini, pengumpulan purata dan pengumpulan maksimum digabungkan untuk menampal, yang dipanggil Penggabungan Campuran.
3. Kendalian penjumlahan: Sebelum lapisan pensampelan naik terakhir, ciri daripada modul pengumpulan hibrid tidak diluluskan secara langsung, tetapi pautan baki daripada output modul PAM disertakan. Dengan mengoptimumkan dua peta ciri secara bersama dalam cawangan pembahagian jalan, modul PAM juga boleh mempelajari ciri latar belakang kawasan tersumbat. Ini boleh membawa kepada pemulihan ciri latar belakang yang lebih tepat.

Gambar menunjukkan gambar rajah seni bina PAM dan CAM:

Kod pseudo algoritma tampalan pengumpulan hibrid adalah seperti berikut:

Kod latihan dan ujian untuk pembahagian jalan bukan mod adalah seperti berikut: https://github​. com/coolgrasshopper/amodal_road_segmentation

Keputusan percubaan adalah seperti berikut:

Atas ialah kandungan terperinci Set data dan persepsi memandu dalam keadaan cuaca yang berulang dan mencabar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!