Rumah > Artikel > Peranti teknologi > DetZero: Waymo menduduki tempat pertama dalam senarai pengesanan 3D, setanding dengan anotasi manual!
Artikel ini mencadangkan satu set rangka kerja algoritma pengesanan objek 3D luar talian DetZero Melalui penyelidikan dan penilaian menyeluruh pada set data awam Waymo, DetZero boleh menjana jujukan trajektori objek yang berterusan dan lengkap serta menggunakan awan titik jangka panjang. Ciri meningkatkan kualiti hasil yang dilihat dengan ketara. Pada masa yang sama, ia menduduki tempat pertama dalam kedudukan pengesanan objek 3D WOD dengan prestasi 85.15 mAPH (L2). Selain itu, DetZero boleh menyediakan pelabelan automatik berkualiti tinggi untuk latihan model dalam talian, dan hasilnya telah mencapai atau bahkan melebihi tahap pelabelan manual.
Ini pautan kertas: https://arxiv.org/abs/2306.06023
Kandungan yang perlu ditulis semula ialah: Pautan kod: https://github.com/PJLab-ADG/DetZero
Sila layari pautan halaman utama: https://superkoma.github.io/detzero-page
Untuk meningkatkan kecekapan anotasi data, kami mengkaji kaedah baharu. Kaedah ini adalah berdasarkan pembelajaran mendalam dan pembelajaran tanpa pengawasan serta boleh menjana data beranotasi secara automatik. Dengan menggunakan sejumlah besar data tidak berlabel, kami boleh melatih model persepsi pemanduan autonomi untuk mengecam dan mengesan objek di jalan raya. Kaedah ini bukan sahaja dapat mengurangkan kos pelabelan data, tetapi juga meningkatkan kecekapan pasca pemprosesan. Kami menggunakan kaedah pengesanan objek 3D luar talian Waymo 3DAL[] sebagai garis dasar untuk perbandingan dalam percubaan kami dan keputusan menunjukkan bahawa kaedah yang dicadangkan kami mempunyai peningkatan yang ketara dalam ketepatan dan kecekapan. Kami percaya kaedah ini akan memainkan peranan penting dalam teknologi pemanduan autonomi masa hadapan
Model pengoptimuman berdasarkan pengelasan keadaan gerakan tidak menggunakan sepenuhnya ciri temporal objek. Contohnya, jika saiz objek tegar kekal konsisten dari semasa ke semasa, anggaran saiz yang lebih tepat boleh dicapai dengan menangkap data dari sudut yang berbeza, trajektori gerakan objek harus mengikut kekangan kinematik tertentu, yang dicerminkan dalam kelancaran trajektori; . Seperti yang ditunjukkan dalam Rajah (a) di bawah, untuk objek dinamik, mekanisme pengoptimuman berdasarkan tetingkap gelongsor tidak mengambil kira ketekalan geometri objek, dan hanya mengemas kini kotak sempadan melalui maklumat awan titik siri masa beberapa bingkai bersebelahan, menghasilkan dalam saiz geometri yang diramalkan berlaku. Dalam contoh (b), dengan mengagregatkan semua awan titik objek, ciri awan titik siri masa yang padat boleh diperoleh, dan saiz geometri tepat kotak sempadan boleh diramalkan untuk setiap bingkai.
Kertas kerja ini mencadangkan rangka kerja algoritma pengesanan objek 3D luar talian baharu yang dipanggil DetZero. Rangka kerja ini mempunyai ciri-ciri berikut: (1) Gunakan pengesan 3D berbilang bingkai dan penjejak luar talian sebagai modul huluan untuk menyediakan penjejakan objek yang tepat dan lengkap, memfokuskan pada ingatan tinggi jujukan objek (pengingat semula peringkat trek); termasuk model pengoptimuman berdasarkan mekanisme perhatian, yang menggunakan ciri awan titik jangka panjang untuk mempelajari dan meramalkan atribut objek yang berbeza, termasuk dimensi geometri yang diperhalusi, kedudukan trajektori gerakan lancar dan skor keyakinan yang dikemas kini
Kami menggunakan CenterPoint[] awam sebagai pengesan asas Untuk menyediakan lebih banyak bingkai calon pengesanan, kami telah mempertingkatkannya dalam tiga aspek: (1) Menggunakan gabungan awan titik bingkai yang berbeza sebagai input untuk memaksimumkan prestasi tanpa. mengurangkan prestasi; (2) Gunakan maklumat ketumpatan awan titik untuk menggabungkan ciri awan titik asal dan ciri voxel ke dalam modul dua peringkat untuk mengoptimumkan hasil sempadan peringkat pertama (3) Gunakan penambahan data peringkat inferens (TTA), berbilang -model Hasil gabungan (Ensemble) dan teknologi lain digunakan untuk meningkatkan kebolehsesuaian model kepada persekitaran yang kompleks
Strategi korelasi dua peringkat diperkenalkan dalam modul penjejakan luar talian untuk mengurangkan padanan palsu Bingkai dibahagikan kepada kumpulan tinggi dan kumpulan rendah mengikut keyakinan, dan kumpulan tinggi ialah Persatuan mengemas kini trajektori sedia ada, dan trajektori yang tidak dikemas kini dikaitkan dengan kumpulan rendah. Pada masa yang sama, panjang trajektori objek boleh bertahan sehingga penghujung jujukan, mengelakkan masalah penukaran ID. Selain itu, kami akan melaksanakan algoritma penjejakan secara terbalik untuk menjana satu lagi set trajektori, mengaitkannya melalui persamaan kedudukan, dan akhirnya menggunakan strategi WBF untuk menggabungkan trajektori yang berjaya dipadankan untuk meningkatkan lagi integriti permulaan dan penghujung jujukan. Akhir sekali, untuk jujukan objek yang dibezakan, awan titik yang sepadan bagi setiap bingkai diekstrak dan disimpan kotak berlebihan yang belum dikemas kini dan beberapa jujukan yang lebih pendek akan digabungkan terus ke dalam output akhir tanpa pengoptimuman hiliran.
Model pengoptimuman berpusatkan objek sebelumnya mengabaikan korelasi antara objek dalam keadaan gerakan yang berbeza, seperti ketekalan bentuk geometri dan gerakan objek pada ketekalan Status bersebelahan. Berdasarkan pemerhatian ini, kami menguraikan tugas regresi kotak sempadan tradisional kepada tiga modul: masing-masing meramalkan geometri, lokasi dan atribut keyakinan objek
Detzero mencapai hasil terbaik pada Leaderboard Pengesanan 3D Waymo dengan 85.15 Maph (L2), kedua-duanya berbanding dengan kaedah yang memproses awan titik siri panjang. pengesan gabungan pelbagai mod lanjutan 3D, DetZero telah menunjukkan kelebihan prestasi yang ketara
Keputusan kedudukan pengesanan 3D Waymo, semua keputusan menggunakan teknologi TTA atau ensemble, † merujuk kepada model luar talian, ‡ merujuk kepada awan titik Model gabungan imej, * menunjukkan penyerahan tanpa nama keputusan
Begitu juga, terima kasih kepada ketepatan bingkai pengesanan dan integriti jujukan penjejakan objek, kami mencapai prestasi pertama pada kedudukan penjejakan Waymo 3D dengan 75.05 MOTA (L2).
Kedudukan penjejakan 3D Waymo, * menunjukkan penyerahan keputusan tanpa nama
Untuk mengesahkan peranan setiap modul yang kami cadangkan dengan lebih baik, kami menjalankan percubaan ablasi pada set pengesahan Waymo dan menggunakan ambang IoU yang lebih ketat sebagai standard pengukuran
Disahkan dalam Waymo We menjalankan ini pada Kenderaan dan Pejalan Kaki, dan memilih nilai standard (0.7 & 0.5) dan nilai ketat (0.8 & 0.6) untuk ambang IoU Pada masa yang sama, untuk set hasil pengesanan yang sama, kami memilih penjejak dan pengoptimuman model dalam 3DAL dan DetZero masing-masing pengesahan gabungan silang telah dijalankan, dan hasilnya membuktikan lagi bahawa penjejak dan pengoptimum DetZero berprestasi lebih baik, dan gabungan kedua-duanya menunjukkan kelebihan yang lebih besar.
Eksperimen silang silang kombinasi modul huluan dan hiliran yang berbeza, subskrip 1 dan 2 masing-masing mewakili 3DAL dan DetZero, dan penunjuk ialah APH 3DPenjejak luar talian kami memberi lebih perhatian kepada integriti jujukan objek, walaupun Prestasi MOTA kedua-duanya adalah berbeza, tetapi prestasi Recall@track adalah salah satu sebab perbezaan besar dalam prestasi pengoptimuman akhir
Perbandingan prestasi penjejak luar talian (Trk2) dan penjejak 3DAL (Trk1), prestasi. MOTA dan Recall@trackTambahan pula, ini ditunjukkan jika dibandingkan dengan penjejak tercanggih yang lain
Recall@track ialah panggilan semula jujukan yang diproses oleh algoritma penjejakan, APH 3D ialah prestasi akhir yang diproses oleh model pengoptimuman yang sama 3.3 Prestasi generalisasiUntuk mengesahkan sama ada hasil anotasi automatik berkualiti tinggi boleh menggantikan Manual keputusan anotasi telah digunakan untuk latihan model dalam talian dan kami menjalankan pengesahan pembelajaran separa penyeliaan pada set pengesahan Waymo. Kami memilih secara rawak 10% daripada data latihan sebagai data latihan untuk model guru (DetZero), dan melakukan inferens pada baki 90% data untuk mendapatkan hasil anotasi automatik, yang akan digunakan sebagai label untuk model pelajar. Kami memilih CenterPoint bingkai tunggal sebagai model pelajar. Bagi kategori kenderaan, hasil latihan menggunakan 90% label automatik dan 10% label benar adalah hampir dengan keputusan latihan menggunakan 100% label benar, manakala pada kategori pejalan kaki, hasil model yang dilatih dengan label automatik adalah lebih baik. daripada yang asal. Hasilnya, yang menunjukkan bahawa pelabelan automatik boleh digunakan untuk latihan model dalam talian
Keputusan percubaan separa penyeliaan pada set pengesahan Waymo3.5 Hasil visualBaris pertama mewakili hasil input huluan, baris kedua mewakili hasil output model pengoptimuman, dan objek dalam garis putus-putus mewakili lokasi dengan perbezaan yang jelas sebelum dan selepas pengoptimuman
Pautan asal: https://mp.weixin.qq.com/s/HklBecJfMOUCC8gclo-t7Q
Atas ialah kandungan terperinci DetZero: Waymo menduduki tempat pertama dalam senarai pengesanan 3D, setanding dengan anotasi manual!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!