Lebih baik daripada semua kaedah! HIMap: Pembinaan peta HD bervektor hujung ke hujung

Pembinaan peta definisi tinggi (HD) bervektor memerlukan meramalkan kategori dan koordinat titik elemen peta (seperti sempadan jalan, pembahagi lorong, lintasan pejalan kaki, dll.). Kaedah terkini terutamanya berdasarkan pembelajaran perwakilan peringkat titik untuk mengundur koordinat titik yang tepat. Walau bagaimanapun, saluran paip ini mempunyai had dalam mendapatkan maklumat peringkat elemen dan pengendalian kegagalan peringkat elemen, seperti bentuk elemen yang salah atau jalinan antara elemen. Untuk menyelesaikan masalah di atas, kertas kerja ini mencadangkan rangka kerja Hibrid yang mudah dan berkesan, dinamakan HIMap, untuk mempelajari dan berinteraksi sepenuhnya dengan maklumat peringkat titik dan peringkat elemen.

Secara khusus, perwakilan hibrid yang dipanggil HIQuery diperkenalkan untuk mewakili semua elemen peta, dan interaksi elemen titik dicadangkan untuk mengekstrak maklumat hibrid unsur secara interaktif, seperti kedudukan titik dan bentuk elemen, dan Ia dikodkan ke dalam HIQuery. Selain itu, kekangan ketekalan elemen titik juga dicadangkan untuk meningkatkan ketekalan antara maklumat peringkat titik dan peringkat elemen. Akhir sekali, elemen titik keluaran HIQuery bersepadu boleh ditukar terus kepada kelas, koordinat titik dan topeng elemen peta. Eksperimen yang meluas dijalankan pada set data nuScenes dan Argoverse2, menunjukkan hasil yang konsisten unggul berbanding kaedah sebelumnya. Perlu diingat bahawa kaedah ini mencapai 77.8mAP pada dataset nuScenes, yang jauh lebih baik daripada SOTA sebelumnya dengan sekurang-kurangnya 8.3mAP!

Nama kertas: HIMap: Pembelajaran Perwakilan Hibrid untuk Pembinaan Peta HD Vektor Hujung ke hujung

Pautan kertas: https://arxiv.org/pdf/2403.08639.pdf

HIMap mula-mula memperkenalkan hibrid dipanggil HIQuery Mewakili semua peta elemen dalam peta. Ia ialah satu set parameter yang boleh dipelajari yang boleh dikemas kini dan diperhalusi secara berulang dengan berinteraksi dengan ciri BEV. Kemudian, penyahkod hibrid berbilang lapisan direka bentuk untuk mengekod maklumat hibrid elemen peta (seperti kedudukan titik, bentuk elemen) ke dalam HIQuery dan melakukan interaksi elemen titik, lihat Rajah 2. Setiap lapisan penyahkod hibrid termasuk interaksi elemen titik, perhatian kendiri dan FFN. Di dalam interaktor elemen titik, mekanisme interaksi bersama dilaksanakan untuk merealisasikan pertukaran maklumat peringkat titik dan peringkat elemen dan mengelakkan bias pembelajaran maklumat peringkat tunggal. Akhir sekali, elemen titik keluaran HIQuery bersepadu boleh ditukar terus kepada koordinat titik elemen, kelas dan topeng. Selain itu, kekangan ketekalan elemen titik juga dicadangkan untuk meningkatkan ketekalan antara maklumat peringkat titik dan peringkat elemen.

Gambaran keseluruhan rangka kerja HIMap

Proses keseluruhan HIMap ditunjukkan dalam Rajah 3(a). HIMap serasi dengan pelbagai data sensor bawaan udara, seperti imej RGB daripada kamera berbilang pandangan, awan titik daripada lidar atau data berbilang modal. Di sini kami mengambil imej RGB berbilang paparan sebagai contoh untuk menerangkan cara HIMap berfungsi.

BEV Feature Extractor ialah alat untuk mengekstrak ciri BEV daripada imej RGB berbilang paparan. Terasnya termasuk mengekstrak bahagian tulang belakang ciri 2D berbilang skala daripada setiap perspektif, mendapatkan bahagian FPN bagi ciri skala tunggal dengan menggabungkan dan memperhalusi ciri berbilang skala, dan menggunakan modul penukaran ciri 2D kepada BEV untuk memetakan ciri 2D ke dalam BEV ciri-ciri. . Proses ini membantu menukar maklumat imej kepada ciri BEV yang lebih sesuai untuk pemprosesan dan analisis, meningkatkan kebolehgunaan dan ketepatan ciri. Melalui kaedah ini, kami dapat memahami dengan lebih baik dan menggunakan maklumat dalam imej berbilang paparan, memberikan sokongan yang lebih kukuh untuk pemprosesan data dan membuat keputusan seterusnya.

HIQuery: Untuk mempelajari sepenuhnya maklumat peringkat titik dan peringkat elemen elemen peta, HIQuery diperkenalkan untuk mewakili semua elemen dalam peta!

Penyahkod Hibrid: Penyahkod hibrid menghasilkan HIQuery bersepadu dengan berinteraksi secara berulang HIQuery Qh dengan ciri BEV X.

Matlamat interaksi elemen titik adalah untuk secara interaktif mengekstrak maklumat peringkat titik dan peringkat elemen elemen peta dan mengekodnya ke HIQuery. Motivasi untuk interaksi kedua-dua tahap maklumat datang daripada saling melengkapi. Maklumat peringkat titik mengandungi pengetahuan lokasi setempat, manakala maklumat peringkat elemen menyediakan bentuk global dan pengetahuan semantik. Oleh itu, interaksi ini membolehkan pemurnian bersama maklumat tempatan dan global elemen peta.

Memandangkan perbezaan asal antara perwakilan peringkat titik dan perwakilan peringkat elemen, yang masing-masing memfokuskan pada maklumat tempatan dan maklumat global, pembelajaran perwakilan dua peringkat juga mungkin mengganggu antara satu sama lain. Ini akan meningkatkan kesukaran interaksi maklumat dan mengurangkan keberkesanan interaksi maklumat. Oleh itu, kekangan ketekalan elemen titik diperkenalkan untuk meningkatkan ketekalan antara setiap tahap titik dan maklumat tahap elemen, dan kebolehdiskriminasian unsur juga boleh dipertingkatkan!

Perbandingan keputusan percubaan

Kertas ini menjalankan eksperimen pada Set Data NuScenes dan Set Data Argoverse2!

Perbandingan model SOTA pada set val nuScenes:

Perbandingan model SOTA pada set val Argoverse2:

Perbandingan dengan model SOTA di bawah data berbilang modal set pengesahan nuScenes:

Lebih banyak eksperimen ablasi:

🎜 🎜

Atas ialah kandungan terperinci Lebih baik daripada semua kaedah! HIMap: Pembinaan peta HD bervektor hujung ke hujung. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!