Rumah >Peranti teknologi >AI >Bagaimana untuk menggabungkan radar pengimejan 4D dengan penjejakan berbilang sasaran 3D? TBD-EOT mungkin jawapannya!
Hello semua, terima kasih banyak atas jemputan daripada Heart of Autonomous Driving Saya berbesar hati untuk berkongsi kerja kami dengan anda di sini
Teknologi Penjejakan Berbilang Objek (MOT) 3D Dalam Talian dalam Sistem Bantuan Pemanduan Lanjutan (ADAS) dan Autonomi. Pemanduan (AD) mempunyai nilai aplikasi yang penting. Dalam beberapa tahun kebelakangan ini, apabila permintaan industri untuk persepsi tiga dimensi berprestasi tinggi terus berkembang, algoritma MOT 3D dalam talian telah menerima penyelidikan dan perhatian yang semakin meluas. Untuk radar gelombang milimeter 4D (juga dikenali sebagai radar pengimejan 4D) atau data awan titik lidar, kebanyakan algoritma MOT 3D dalam talian yang kini digunakan dalam bidang ADAS dan AD menggunakan rangka kerja pengesanan sasaran titik (TBD-POT) berdasarkan siaran -strategi pengesanan pengesanan. Walau bagaimanapun, penjejakan objek lanjutan berdasarkan strategi pengesanan dan pengesanan bersama (JDT-EOT), sebagai satu lagi rangka kerja MOT yang penting, belum dikaji sepenuhnya dalam medan ADAS dan AD. Artikel ini buat pertama kalinya secara sistematik membincangkan dan menganalisis prestasi TBD-POT, JDT-EOT dan rangka kerja TBD-EOT yang dicadangkan dalam senario aplikasi MOT 3D dalam talian sebenar. Khususnya, kertas kerja ini menilai dan membandingkan prestasi pelaksanaan SOTA bagi tiga rangka kerja pada data awan titik radar pengimejan 4D bagi dua set data View-of-Delft (VoD) dan TJ4DRadSet. Keputusan eksperimen menunjukkan bahawa rangka kerja TBD-POT tradisional mempunyai kelebihan kerumitan pengiraan yang rendah dan prestasi penjejakan yang tinggi, dan masih boleh digunakan sebagai pilihan pertama dalam tugasan MOT 3D pada masa yang sama, rangka kerja TBD-EOT yang dicadangkan dalam artikel ini mempunyai keupayaan untuk mengatasi TBD-EOT dalam senario tertentu Potensi rangka kerja POT. Perlu diingat bahawa rangka kerja JDT-EOT, yang baru-baru ini menarik perhatian akademik, mempunyai prestasi yang lemah dalam senario ADAS dan AD. Artikel ini menganalisis keputusan percubaan di atas berdasarkan pelbagai penunjuk penilaian prestasi dan menyediakan penyelesaian yang mungkin untuk meningkatkan prestasi penjejakan algoritma dalam senario aplikasi sebenar. Untuk algoritma MOT 3D dalam talian berdasarkan radar pengimejan 4D, penyelidikan di atas menyediakan ujian penanda aras prestasi pertama dalam bidang ADAS dan AD, dan menyediakan perspektif dan cadangan penting untuk reka bentuk dan aplikasi algoritma sedemikian
Paradigma reka bentuk algoritma MOT 3D boleh dibahagikan kepada dua kategori: berasaskan model dan berasaskan pembelajaran mendalam. Paradigma reka bentuk berasaskan model menggunakan model dinamik berbilang objektif yang direka dengan teliti dan model pengukuran, dan sesuai untuk membangunkan kaedah MOT 3D yang cekap dan boleh dipercayai. Antara rangka kerja MOT berasaskan model biasa, rangka kerja penjejakan sasaran titik menggunakan strategi pengesanan-pasca-penjejakan telah diterima secara meluas oleh ahli akademik dan industri. Rangka kerja penjejakan sasaran titik mengandaikan bahawa setiap sasaran hanya menjana satu titik pengukuran dalam satu imbasan sensor Walau bagaimanapun, untuk radar pengimejan lidar dan 4D, sasaran sering menjana berbilang titik pengukuran dalam satu imbasan. Oleh itu, sebelum melakukan penjejakan sasaran, berbilang ukuran daripada sasaran yang sama terlebih dahulu perlu diproses menjadi hasil pengesanan, seperti rangka pengesanan sasaran, melalui pengesan sasaran. Keberkesanan rangka kerja penjejakan pasca pengesanan telah disahkan dalam banyak tugas MOT 3D berdasarkan data awan titik lidar sebenar
Penjejakan sasaran lanjutan (EOT) menggunakan strategi pengesanan dan penjejakan bersama (JDT) sebagai rangka kerja MOT berasaskan model yang lain, baru-baru ini mendapat perhatian yang meluas dalam bidang akademik. Tidak seperti POT, EOT menganggap bahawa sasaran boleh menghasilkan berbilang ukuran dalam satu imbasan sensor, jadi tiada modul pengesanan sasaran tambahan diperlukan semasa melaksanakan JDT. Kajian berkaitan telah menunjukkan bahawa JDT-EOT boleh mencapai prestasi yang baik apabila menjejaki sasaran tunggal pada awan titik lidar sebenar dan data titik pengesanan radar automotif. Walau bagaimanapun, untuk tugas MOT 3D dalam talian dalam senario ADAS dan AD yang kompleks, terdapat beberapa kajian yang menggunakan data sebenar untuk menilai EOT, dan kajian ini tidak menilai prestasi MOT rangka kerja EOT untuk pelbagai jenis sasaran secara terperinci tentang ADAS/AD set data , dan tiada analisis sistematik keputusan eksperimen menggunakan penunjuk prestasi yang diterima secara meluas. Penyelidikan dalam artikel ini cuba menjawab soalan terbuka ini buat kali pertama melalui penilaian dan analisis komprehensif: sama ada rangka kerja EOT boleh digunakan dalam senario ADAS dan AD yang kompleks dan mencapai prestasi penjejakan dan kecekapan pengkomputeran yang lebih baik daripada rangka kerja TBD-POT tradisional. Sumbangan utama artikel ini terutamanya termasuk:
Bahagian ini memperkenalkan tiga rangka kerja algoritma untuk MOT 3D dalam talian pada data awan titik radar pengimejan 4D, termasuk TBD-POT, JDT-EOT dan TBD-EOT, seperti yang ditunjukkan dalam rajah berikut:
Kandungan yang ditulis semula: A. Rangka Kerja 1: Penjejakan sasaran titik menggunakan strategi penjejakan pasca pengesanan (untuk ditentukan - penjejakan sasaran titik)
Rangka kerja TBD-POT telah digunakan secara meluas dalam penyelidikan MOT berdasarkan penerimaan pelbagai sensor. Di bawah rangka kerja penjejakan ini, awan titik radar pengimejan 4D diproses pertama kali oleh pengesan sasaran untuk menjana bingkai pengesanan 3D, memberikan maklumat seperti lokasi sasaran, saiz bingkai pengesanan, orientasi, kategori sasaran, skor pengesanan dan maklumat lain. Untuk memudahkan pengiraan, algoritma POT biasanya memilih kedudukan sasaran dua dimensi dalam sistem koordinat Cartes sebagai ukuran, dan melakukan MOT di bawah pandangan mata burung (BEV). Anggaran kedudukan sasaran kemudiannya digabungkan dengan maklumat lain bagi bingkai pengesanan 3D untuk mendapatkan hasil penjejakan 3D akhir. Rangka kerja TBD-POT mempunyai dua kelebihan utama: 1) algoritma POT boleh menggunakan maklumat tambahan seperti jenis sasaran dan skor pengesanan untuk meningkatkan prestasi pengesanan 2) algoritma POT secara amnya kurang kompleks daripada algoritma EOT;
Kami memilih Global Nearest Neighbor Poisson Multi-Bernoulli Filter (GNN-PMB) sebagai algoritma POT, yang mencapai prestasi SOTA dalam tugasan MOT 3D dalam talian berasaskan lidar. GNN-PMB menganggarkan keadaan berbilang sasaran dengan menyebarkan ketumpatan PMB, dengan sasaran yang tidak dikesan dimodelkan oleh proses titik Poisson (PPP) dan sasaran yang dikesan dimodelkan oleh ketumpatan Multi-Bernoulli (MB). Perkaitan data dicapai dengan mengurus andaian tempatan dan global. Pada setiap saat, pengukuran mungkin dikaitkan dengan sasaran yang telah dijejaki, sasaran yang baru dikesan atau penggera palsu, membentuk hipotesis tempatan yang berbeza. Andaian tempatan yang serasi disepadukan ke dalam andaian global yang menerangkan hubungan antara semua sasaran dan ukuran semasa. Tidak seperti penapis Poisson Multi-Bernoulli Mixture (PMBM), yang mengira dan menyebarkan pelbagai hipotesis global, GNN-PMB hanya menyebarkan hipotesis global yang optimum, dengan itu mengurangkan kerumitan pengiraan. Secara ringkasnya, rangka kerja MOT 3D dalam talian pertama yang dikaji dalam kertas kerja ini menggabungkan pengesan sasaran berasaskan pembelajaran mendalam dengan algoritma GNN-PMB
B Rangka Kerja 2: Penjejakan sasaran lanjutan menggunakan strategi pengesanan dan penjejakan bersama ( JDT-EOT).Berbeza daripada rangka kerja pertama TBD-POT, rangka kerja JDT-EOT mampu memproses terus awan titik radar pengimejan 4D dengan mengesan dan menjejaki berbilang sasaran secara serentak. Pertama, awan titik dikelompokkan untuk membentuk pembahagian ukuran yang mungkin (kelompok titik), dan kemudian algoritma EOT menggunakan gugusan titik ini untuk melaksanakan MOT 3D. Secara teorinya, kerana awan titik mempunyai maklumat yang lebih kaya daripada bingkai pengesanan 3D yang telah diproses, rangka kerja ini boleh menganggarkan kedudukan dan bentuk sasaran dengan lebih tepat serta mengurangkan pengesanan sasaran yang terlepas. Walau bagaimanapun, untuk awan titik radar pengimejan 4D yang mengandungi sejumlah besar kekacauan, adalah sukar untuk menjana bahagian ukuran yang tepat. Memandangkan taburan spatial awan titik sasaran berbeza mungkin juga berbeza, rangka kerja JDT-EOT biasanya menggunakan algoritma pengelompokan berbilang seperti DBSCAN dan k-means digabungkan dengan tetapan parameter yang berbeza untuk menjana sebanyak mungkin bahagian ukuran yang mungkin. Ini meningkatkan lagi kerumitan pengiraan EOT dan menjejaskan prestasi masa nyata rangka kerja ini.
Artikel ini memilih penapis PMBM berdasarkan pengedaran Gamma Gaussian Inverse Wishart (GGIW) untuk melaksanakan rangka kerja JDT-EOT. Penapis GGIW-PMBM ialah salah satu algoritma EOT dengan ketepatan anggaran SOTA dan kerumitan pengiraan. Penapis PMBM dipilih kerana algoritma menggunakan ketumpatan campuran berbilang Bernoulli (MBM) untuk memodelkan sasaran dan menyebarkan berbilang andaian global, yang boleh mengatasi ketidakpastian tinggi pengukuran radar dengan lebih baik. Model GGIW mengandaikan bahawa bilangan titik ukuran yang dijana oleh sasaran mematuhi taburan Poisson, dan satu ukuran mematuhi taburan Gaussian. Di bawah andaian ini, bentuk setiap sasaran ialah elips, diterangkan oleh ketumpatan Wishart (IW) songsang, dan paksi utama dan kecil elips boleh digunakan untuk membentuk garisan segi empat tepat sasaran. Pemodelan bentuk ini agak mudah, sesuai untuk pelbagai jenis sasaran, dan mempunyai kerumitan pengiraan yang paling rendah antara pelaksanaan algoritma EOT sedia ada.
C Rangka Kerja 3: Penjejakan Objek Lanjutan (TBD-EOT) menggunakan strategi penjejakan selepas pengesanan 🎜🎜Untuk memanfaatkan pengesan objek pembelajaran mendalam di bawah rangka kerja EOT, kami mencadangkan rangka kerja MOT ketiga: TBD-EOT. Berbeza daripada rangka kerja JDT-EOT yang berkumpul pada awan titik lengkap, rangka kerja TBD-EOT terlebih dahulu memilih titik pengukuran radar yang sah di dalam rangka pengesanan 3D sasaran sebelum mengelompokkan titik pengukuran ini lebih berkemungkinan datang daripada objek sebenar. Berbanding dengan JDT-EOT, rangka kerja TBD-EOT mempunyai dua kelebihan. Pertama, dengan mengalih keluar titik pengukuran yang mungkin berasal dari kekacauan, kerumitan pengiraan langkah perkaitan data dalam algoritma EOT akan dikurangkan dengan ketara, dan bilangan pengesanan palsu juga mungkin dikurangkan. Kedua, algoritma EOT boleh menggunakan maklumat yang diperoleh daripada pengesan untuk meningkatkan lagi prestasi pengesanan. Contohnya, menetapkan parameter penjejakan yang berbeza untuk kategori sasaran yang berbeza, membuang bingkai pengesanan sasaran dengan skor pengesanan rendah, dsb. Rangka kerja TBD-EOT menggunakan pengesan sasaran yang sama seperti TBD-POT apabila digunakan dan menggunakan GGIW-PMBM sebagai penapis EOT.
A. Set data dan penunjuk penilaian
Artikel ini adalah dalam urutan No. 0, 8, 12, dan 18 set data VoD dan urutan No. 0, 10 23, 31, dan 41 daripada TJ4DRadSet Tiga rangka kerja MOT telah dinilai pada kategori Kereta, Pejalan Kaki dan Penunggang Basikal. Input hasil pengesanan sasaran kepada rangka kerja TBD-POT dan TBD-EOT disediakan oleh SMURF, yang merupakan salah satu pengesan sasaran SOTA pada awan titik radar pengimejan 4D. Memandangkan JDT-EOT tidak dapat memperoleh maklumat jenis sasaran, kami menambah langkah pengelasan sasaran heuristik untuk menentukan kategori berdasarkan bentuk dan saiz sasaran dalam proses pengekstrakan keadaan algoritma GGIW-PMBM.
Penilaian seterusnya artikel ini memilih satu set penunjuk prestasi MOT yang biasa digunakan termasuk MOTA, MOTP, TP, FN, FP dan IDS. Selain itu, kami juga menggunakan penunjuk prestasi MOT yang lebih baharu: ketepatan penjejakan pesanan tinggi (HOTA). HOTA boleh diuraikan kepada sub-penunjuk ketepatan pengesanan (DetA), ketepatan persatuan (AssA) dan ketepatan kedudukan (LocA), yang membantu menganalisis prestasi MOT dengan lebih jelas.
Kandungan perbandingan prestasi rangka kerja penjejakan perlu ditulis semula
Pada set data VoD, penalaan parameter telah dilakukan untuk pelaksanaan algoritma bagi tiga rangka kerja MOT SMURF + GNN-PMB, GGIW-PMBM dan SMURF + GGIW -PMBM. Prestasi mereka ditunjukkan dalam jadual berikut:
Prestasi setiap algoritma pada set data TJ4DRadSet ditunjukkan dalam jadual berikut:
1) Prestasi GGIW-PMBM
Experimental result bahawa GGIW-PMBM Prestasi adalah lebih rendah daripada jangkaan. Memandangkan hasil penjejakan mengandungi sejumlah besar FP dan FN, ketepatan pengesanan GGIW-PMBM pada tiga kategori adalah rendah. Untuk menganalisis punca fenomena ini, kami mengira TP dan FN menggunakan keputusan penjejakan yang tidak dikelaskan, seperti yang ditunjukkan dalam jadual di bawah. Dapat diperhatikan bahawa bilangan TP dalam tiga kategori telah meningkat dengan ketara, menunjukkan bahawa GGIW-PMBM boleh menghasilkan hasil pengesanan yang hampir dengan kedudukan sasaran sebenar. Walau bagaimanapun, seperti yang ditunjukkan dalam rajah di bawah, kebanyakan sasaran yang dianggarkan oleh GGIW-PMBM mempunyai panjang dan lebar yang sama, yang mengakibatkan langkah pengelasan sasaran heuristik tidak dapat membezakan jenis sasaran secara berkesan berdasarkan saiz sasaran, yang memberi kesan buruk kepada prestasi penjejakan.
seterusnya menganalisis perbezaan prestasi GGIW-PMBM pada dua set data. Pada set data TJ4DRadSet, penunjuk MOTA bagi pejalan kaki dan penunggang basikal adalah jauh lebih rendah daripada penunjuk pada set data VoD, yang menunjukkan bahawa GGIW-PMBM menjana lebih banyak trajektori palsu pada TJ4DRadSet. Sebab fenomena ini mungkin kerana set data TJ4DRadSet mengandungi lebih banyak ukuran kekacauan daripada halangan di kedua-dua belah jalan, seperti yang ditunjukkan dalam rajah di bawah. Memandangkan kebanyakan halangan di tepi jalan adalah pegun, masalah ini boleh diperbaiki dengan mengalihkan titik pengukuran radar dengan halaju jejarian rendah sebelum berkelompok. Memandangkan TJ4DRadSet belum lagi menerbitkan data gerakan kenderaan sendiri, artikel ini tidak memberikan bukti percubaan tambahan. Walau bagaimanapun, kami boleh membuat spekulasi bahawa langkah pemprosesan yang serupa juga akan menjejaskan awan titik radar sasaran pegun, meningkatkan kemungkinan sasaran ini tidak akan dijejaki dengan betul
Secara keseluruhan, GGIW-PMBM gagal berprestasi baik dalam 4D sebenar. sebab untuk mencapai prestasi yang baik pada awan titik radar pengimejan ialah tanpa maklumat tambahan yang diberikan oleh pengesan sasaran, adalah sukar bagi algoritma untuk menentukan kategori hasil penjejakan melalui kaedah heuristik, atau untuk membezakan awan titik daripada sasaran dan latar belakang kekusutan.
2) Persembahan SMURF+GNN-PMB dan SMURF+GGIW-PMBM
SMURF+GNN-PMB dan SMURF+GGIW-PMBM kedua-duanya menggunakan maklumat daripada pengesan objek. Keputusan percubaan menunjukkan bahawa prestasi yang pertama dalam kategori Kereta adalah jauh lebih baik daripada yang kedua, terutamanya kerana yang kedua mempunyai ketepatan kedudukan yang lebih rendah untuk sasaran Kereta. Sebab utama fenomena ini ialah ralat dalam pemodelan pengedaran awan titik. Seperti yang ditunjukkan dalam rajah di bawah, untuk sasaran kenderaan, awan titik radar cenderung berkumpul di sebelah lebih dekat dengan sensor radar. Ini tidak konsisten dengan andaian dalam model GGIW bahawa titik pengukuran diagihkan secara seragam pada permukaan sasaran, menyebabkan kedudukan dan bentuk sasaran yang dianggarkan oleh SMURF + GGIW-PMBM menyimpang daripada nilai sebenar. Oleh itu, apabila menjejaki sasaran besar seperti kenderaan, menggunakan model pengukuran sasaran yang lebih tepat, seperti proses Gaussian, boleh membantu rangka kerja TBD-EOT mencapai prestasi yang lebih baik, tetapi ini juga boleh meningkatkan kerumitan pengiraan algoritma
Kami juga perhatikan bahawa jurang prestasi antara SMURF + GGIW-PMBM dan SMURF + GNN-PMB dalam kategori Penunggang Basikal telah mengecil, dan indeks HOTA yang pertama adalah lebih baik daripada yang kedua dalam kategori Pejalan Kaki. Tambahan pula, SMURF+GGIW-PMBM juga mempunyai kurang bilangan IDS pada kategori Pejalan Kaki dan Penunggang Basikal. Punca-punca fenomena ini mungkin termasuk: pertama, GGIW-PMBM secara adaptif mengira kebarangkalian pengesanan sasaran berdasarkan anggaran ketumpatan GGIW kedua, GGIW-PMBM bukan sahaja mempertimbangkan lokasi sasaran tetapi juga ukuran sasaran apabila mengira kemungkinan berlakunya; hipotesis korelasi Bilangan dan taburan spatial mata. Untuk sasaran kecil seperti Pejalan Kaki dan Penunggang Basikal, titik radar lebih sekata pada permukaan sasaran dan lebih konsisten dengan andaian model GGIW oleh itu, SMURF + GGIW-PMBM boleh menggunakan maklumat dari awan titik untuk menganggarkan pengesanan dengan lebih tepat kebarangkalian dan kemungkinan hipotesis yang berkaitan, dengan itu melepasi Kurangkan gangguan trajektori dan korelasi palsu untuk meningkatkan prestasi dalam kedudukan, korelasi dan penyelenggaraan ID.
Kertas kerja ini membandingkan prestasi rangka kerja POT dan EOT dalam tugas MOT 3D dalam talian berdasarkan awan titik radar pengimejan 4D. Kami menilai prestasi penjejakan bagi tiga rangka kerja, TBD-POT, JDT-EOT dan TBD-EOT, pada kategori Kereta, Pejalan Kaki dan Penunggang Basikal bagi dua set data, VoD dan TJ4DRadSet. Keputusan menunjukkan bahawa rangka kerja TBD-POT tradisional masih berkesan, dan pelaksanaan algoritmanya SMURF+GNN-PMB menunjukkan prestasi terbaik pada kategori Kereta dan Penunggang Basikal. Walau bagaimanapun, rangka kerja JDT-EOT tidak dapat mengalih keluar ukuran kekusutan dengan berkesan, mengakibatkan terlalu banyak andaian bahagian pengukuran, menjadikan prestasi GGIW-PMBM tidak memuaskan. Di bawah rangka kerja TBD-EOT yang dicadangkan dalam kertas kerja ini, SMURF + GGIW-PMBM mencapai korelasi terbaik dan ketepatan kedudukan pada kategori Pejalan Kaki, dan mencapai anggaran ID yang boleh dipercayai pada kategori Pejalan Kaki dan Penunggang Basikal, menunjukkan prestasi melebihi potensi rangka kerja TBD-POT . Walau bagaimanapun, SMURF + GGIW-PMBM tidak dapat memodelkan awan titik radar teragih tidak seragam secara berkesan, mengakibatkan prestasi penjejakan yang lemah untuk sasaran kenderaan. Oleh itu, kajian lanjut diperlukan pada masa hadapan mengenai model sasaran lanjutan yang lebih realistik dan mempunyai kerumitan pengiraan yang rendah
Kandungan yang perlu ditulis semula ialah: Pautan asal: https://mp.weixin.qq. com/s/ZizQlEkMQnlKWclZ8Q3iog
Atas ialah kandungan terperinci Bagaimana untuk menggabungkan radar pengimejan 4D dengan penjejakan berbilang sasaran 3D? TBD-EOT mungkin jawapannya!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!