


DetZero: Waymo menduduki tempat pertama dalam senarai pengesanan 3D, setanding dengan anotasi manual!
Artikel ini mencadangkan satu set rangka kerja algoritma pengesanan objek 3D luar talian DetZero Melalui penyelidikan dan penilaian menyeluruh pada set data awam Waymo, DetZero boleh menjana jujukan trajektori objek yang berterusan dan lengkap serta menggunakan awan titik jangka panjang. Ciri meningkatkan kualiti hasil yang dilihat dengan ketara. Pada masa yang sama, ia menduduki tempat pertama dalam kedudukan pengesanan objek 3D WOD dengan prestasi 85.15 mAPH (L2). Selain itu, DetZero boleh menyediakan pelabelan automatik berkualiti tinggi untuk latihan model dalam talian, dan hasilnya telah mencapai atau bahkan melebihi tahap pelabelan manual.
Ini pautan kertas: https://arxiv.org/abs/2306.06023
Kandungan yang perlu ditulis semula ialah: Pautan kod: https://github.com/PJLab-ADG/DetZero
Sila layari pautan halaman utama: https://superkoma.github.io/detzero-page
1 Pengenalan
Untuk meningkatkan kecekapan anotasi data, kami mengkaji kaedah baharu. Kaedah ini adalah berdasarkan pembelajaran mendalam dan pembelajaran tanpa pengawasan serta boleh menjana data beranotasi secara automatik. Dengan menggunakan sejumlah besar data tidak berlabel, kami boleh melatih model persepsi pemanduan autonomi untuk mengecam dan mengesan objek di jalan raya. Kaedah ini bukan sahaja dapat mengurangkan kos pelabelan data, tetapi juga meningkatkan kecekapan pasca pemprosesan. Kami menggunakan kaedah pengesanan objek 3D luar talian Waymo 3DAL[] sebagai garis dasar untuk perbandingan dalam percubaan kami dan keputusan menunjukkan bahawa kaedah yang dicadangkan kami mempunyai peningkatan yang ketara dalam ketepatan dan kecekapan. Kami percaya kaedah ini akan memainkan peranan penting dalam teknologi pemanduan autonomi masa hadapan
- Pengesanan objek (Pengesanan): masukkan sejumlah kecil data bingkai awan titik berterusan dan keluarkan kotak sempadan dan maklumat kategori objek 3D dalam setiap bingkai ;
- Penjejakan sasaran berbilang (Penjejakan): kaitkan objek yang dikesan dalam setiap bingkai untuk membentuk jujukan objek dan tetapkan ID objek unik
- Pengkelasan Pergerakan (Pengkelasan Pergerakan): berdasarkan ciri trajektori objek; keadaan gerakan objek (pegun atau bergerak);
- Penapisan berpusatkan objek: Berdasarkan keadaan gerakan yang diramalkan oleh modul sebelumnya, ekstrak ciri awan titik siri masa bagi objek pegun dan bergerak masing-masing untuk meramalkan kotak sempadan Tepat. Akhir sekali, kotak sempadan 3D yang dioptimumkan dipindahkan kembali ke sistem koordinat setiap bingkai di mana objek terletak melalui matriks pose.
- Kualiti jujukan objek akan memberi impak besar pada model pengoptimuman hiliran
Model pengoptimuman berdasarkan pengelasan keadaan gerakan tidak menggunakan sepenuhnya ciri temporal objek. Contohnya, jika saiz objek tegar kekal konsisten dari semasa ke semasa, anggaran saiz yang lebih tepat boleh dicapai dengan menangkap data dari sudut yang berbeza, trajektori gerakan objek harus mengikut kekangan kinematik tertentu, yang dicerminkan dalam kelancaran trajektori; . Seperti yang ditunjukkan dalam Rajah (a) di bawah, untuk objek dinamik, mekanisme pengoptimuman berdasarkan tetingkap gelongsor tidak mengambil kira ketekalan geometri objek, dan hanya mengemas kini kotak sempadan melalui maklumat awan titik siri masa beberapa bingkai bersebelahan, menghasilkan dalam saiz geometri yang diramalkan berlaku. Dalam contoh (b), dengan mengagregatkan semua awan titik objek, ciri awan titik siri masa yang padat boleh diperoleh, dan saiz geometri tepat kotak sempadan boleh diramalkan untuk setiap bingkai.
- Model pengoptimuman berdasarkan keadaan gerakan meramalkan saiz objek (a), dan model pengoptimuman geometri meramalkan saiz objek selepas mengagregatkan semua awan titik dari perspektif berbeza (b)
- Interaksi geometri berbilang paparan: Dengan menyambung awan titik objek daripada berbilang pandangan, kami boleh melengkapkan rupa dan bentuk keseluruhan objek. Pertama, transformasi koordinat tempatan dilakukan untuk menyelaraskan awan titik objek dengan bingkai tempatan pada kedudukan yang berbeza, dan jarak unjuran setiap titik ke enam permukaan kotak sempadan dikira untuk mengukuhkan perwakilan maklumat kotak sempadan, dan kemudian secara langsung mencantumkan semua awan titik bagi bingkai yang berbeza Sebagai kunci dan nilai ciri geometri berbilang pandangan, sampel t dipilih secara rawak daripada jujukan objek sebagai pertanyaan untuk ciri geometri pandangan tunggal. Pertanyaan geometri akan dihantar ke lapisan perhatian kendiri untuk melihat perbezaan antara satu sama lain, dan kemudian dihantar ke lapisan perhatian silang untuk menambah ciri perspektif yang diperlukan dan meramalkan saiz geometri yang tepat.
- Interaksi antara kedudukan tempatan dan global: Pilih mana-mana kotak secara rawak dalam jujukan objek sebagai asal, pindahkan semua kotak lain dan awan titik objek yang sepadan ke sistem koordinat ini, dan hitung jumlah setiap titik ke titik tengah sempadan masing-masing kotak Jarak antara lapan titik sudut berfungsi sebagai kunci dan nilai ciri kedudukan global. Setiap sampel dalam urutan objek akan digunakan sebagai pertanyaan kedudukan dan dihantar ke lapisan perhatian kendiri untuk menentukan jarak relatif antara kedudukan semasa dan kedudukan lain Kemudian ia dimasukkan ke lapisan perhatian silang untuk mensimulasikan hubungan konteks kedudukan tempatan ke global dan ramalkan sistem koordinat ini Pengimbangan antara setiap titik pusat awal dan titik pusat sebenar, serta perbezaan sudut tajuk.
- Pengoptimuman keyakinan: Cawangan klasifikasi digunakan untuk mengklasifikasikan sama ada objek itu TP atau FP Cawangan regresi IoU meramalkan saiz IoU antara objek dan kotak kebenaran tanah selepas dioptimumkan oleh model geometri dan model kedudukan. Skor keyakinan akhir ialah min geometri bagi kedua-dua cabang ini.
2 Kaedah
Kertas kerja ini mencadangkan rangka kerja algoritma pengesanan objek 3D luar talian baharu yang dipanggil DetZero. Rangka kerja ini mempunyai ciri-ciri berikut: (1) Gunakan pengesan 3D berbilang bingkai dan penjejak luar talian sebagai modul huluan untuk menyediakan penjejakan objek yang tepat dan lengkap, memfokuskan pada ingatan tinggi jujukan objek (pengingat semula peringkat trek); termasuk model pengoptimuman berdasarkan mekanisme perhatian, yang menggunakan ciri awan titik jangka panjang untuk mempelajari dan meramalkan atribut objek yang berbeza, termasuk dimensi geometri yang diperhalusi, kedudukan trajektori gerakan lancar dan skor keyakinan yang dikemas kini
2.1 Menjana a turutan Objek lengkap
Kami menggunakan CenterPoint[] awam sebagai pengesan asas Untuk menyediakan lebih banyak bingkai calon pengesanan, kami telah mempertingkatkannya dalam tiga aspek: (1) Menggunakan gabungan awan titik bingkai yang berbeza sebagai input untuk memaksimumkan prestasi tanpa. mengurangkan prestasi; (2) Gunakan maklumat ketumpatan awan titik untuk menggabungkan ciri awan titik asal dan ciri voxel ke dalam modul dua peringkat untuk mengoptimumkan hasil sempadan peringkat pertama (3) Gunakan penambahan data peringkat inferens (TTA), berbilang -model Hasil gabungan (Ensemble) dan teknologi lain digunakan untuk meningkatkan kebolehsesuaian model kepada persekitaran yang kompleks
Strategi korelasi dua peringkat diperkenalkan dalam modul penjejakan luar talian untuk mengurangkan padanan palsu Bingkai dibahagikan kepada kumpulan tinggi dan kumpulan rendah mengikut keyakinan, dan kumpulan tinggi ialah Persatuan mengemas kini trajektori sedia ada, dan trajektori yang tidak dikemas kini dikaitkan dengan kumpulan rendah. Pada masa yang sama, panjang trajektori objek boleh bertahan sehingga penghujung jujukan, mengelakkan masalah penukaran ID. Selain itu, kami akan melaksanakan algoritma penjejakan secara terbalik untuk menjana satu lagi set trajektori, mengaitkannya melalui persamaan kedudukan, dan akhirnya menggunakan strategi WBF untuk menggabungkan trajektori yang berjaya dipadankan untuk meningkatkan lagi integriti permulaan dan penghujung jujukan. Akhir sekali, untuk jujukan objek yang dibezakan, awan titik yang sepadan bagi setiap bingkai diekstrak dan disimpan kotak berlebihan yang belum dikemas kini dan beberapa jujukan yang lebih pendek akan digabungkan terus ke dalam output akhir tanpa pengoptimuman hiliran.
2.2 Modul pengoptimuman objek berdasarkan ramalan atribut
Model pengoptimuman berpusatkan objek sebelumnya mengabaikan korelasi antara objek dalam keadaan gerakan yang berbeza, seperti ketekalan bentuk geometri dan gerakan objek pada ketekalan Status bersebelahan. Berdasarkan pemerhatian ini, kami menguraikan tugas regresi kotak sempadan tradisional kepada tiga modul: masing-masing meramalkan geometri, lokasi dan atribut keyakinan objek
3 Eksperimen
3.1 Prestasi Utama
Detzero mencapai hasil terbaik pada Leaderboard Pengesanan 3D Waymo dengan 85.15 Maph (L2), kedua-duanya berbanding dengan kaedah yang memproses awan titik siri panjang. pengesan gabungan pelbagai mod lanjutan 3D, DetZero telah menunjukkan kelebihan prestasi yang ketara
Keputusan kedudukan pengesanan 3D Waymo, semua keputusan menggunakan teknologi TTA atau ensemble, † merujuk kepada model luar talian, ‡ merujuk kepada awan titik Model gabungan imej, * menunjukkan penyerahan tanpa nama keputusan
Begitu juga, terima kasih kepada ketepatan bingkai pengesanan dan integriti jujukan penjejakan objek, kami mencapai prestasi pertama pada kedudukan penjejakan Waymo 3D dengan 75.05 MOTA (L2).
Kedudukan penjejakan 3D Waymo, * menunjukkan penyerahan keputusan tanpa nama
3.2 Percubaan Ablasi
Untuk mengesahkan peranan setiap modul yang kami cadangkan dengan lebih baik, kami menjalankan percubaan ablasi pada set pengesahan Waymo dan menggunakan ambang IoU yang lebih ketat sebagai standard pengukuran
Disahkan dalam Waymo We menjalankan ini pada Kenderaan dan Pejalan Kaki, dan memilih nilai standard (0.7 & 0.5) dan nilai ketat (0.8 & 0.6) untuk ambang IoU Pada masa yang sama, untuk set hasil pengesanan yang sama, kami memilih penjejak dan pengoptimuman model dalam 3DAL dan DetZero masing-masing pengesahan gabungan silang telah dijalankan, dan hasilnya membuktikan lagi bahawa penjejak dan pengoptimum DetZero berprestasi lebih baik, dan gabungan kedua-duanya menunjukkan kelebihan yang lebih besar.
Penjejak luar talian kami memberi lebih perhatian kepada integriti jujukan objek, walaupun Prestasi MOTA kedua-duanya adalah berbeza, tetapi prestasi Recall@track adalah salah satu sebab perbezaan besar dalam prestasi pengoptimuman akhir
Tambahan pula, ini ditunjukkan jika dibandingkan dengan penjejak tercanggih yang lain
Untuk mengesahkan sama ada model pengoptimuman kami boleh dipadankan dengan tetap pada set hasil huluan tertentu, kami memilih hasil penjejakan pengesanan huluan dengan prestasi berbeza sebagai input. Keputusan menunjukkan bahawa kami telah mencapai peningkatan prestasi yang ketara, seterusnya membuktikan bahawa selagi modul huluan dapat mengingati lebih banyak jujukan objek yang lebih lengkap, pengoptimum kami boleh menggunakan ciri awan titik siri masanya dengan berkesan untuk pengoptimuman
Set pengesahan Waymo Pengesahan prestasi generalisasi, penunjuk ialah 3D APHKami akan melaporkan prestasi AP DetZero pada 5 urutan tertentu berdasarkan tetapan percubaan 3DAL, dengan membandingkan berdasarkan bingkai tunggal Prestasi manusia diukur dengan ketekalan keputusan yang dilabel semula dengan hasil yang dilabelkan dengan kebenaran tanah yang asal. Berbanding dengan 3DAL dan manusia, DetZero telah menunjukkan kelebihan dalam penunjuk prestasi yang berbeza
Perbandingan prestasi AP 3D dan BEV AP di bawah ambang IoU yang berbeza untuk kategori Kenderaan Untuk mengesahkan sama ada hasil anotasi automatik berkualiti tinggi boleh menggantikan Manual keputusan anotasi telah digunakan untuk latihan model dalam talian dan kami menjalankan pengesahan pembelajaran separa penyeliaan pada set pengesahan Waymo. Kami memilih secara rawak 10% daripada data latihan sebagai data latihan untuk model guru (DetZero), dan melakukan inferens pada baki 90% data untuk mendapatkan hasil anotasi automatik, yang akan digunakan sebagai label untuk model pelajar. Kami memilih CenterPoint bingkai tunggal sebagai model pelajar. Bagi kategori kenderaan, hasil latihan menggunakan 90% label automatik dan 10% label benar adalah hampir dengan keputusan latihan menggunakan 100% label benar, manakala pada kategori pejalan kaki, hasil model yang dilatih dengan label automatik adalah lebih baik. daripada yang asal. Hasilnya, yang menunjukkan bahawa pelabelan automatik boleh digunakan untuk latihan model dalam talian
Kotak merah mewakili input huluan keputusan, dan kotak biru mewakili model yang dioptimumkan Hasil output
Baris pertama mewakili hasil input huluan, baris kedua mewakili hasil output model pengoptimuman, dan objek dalam garis putus-putus mewakili lokasi dengan perbezaan yang jelas sebelum dan selepas pengoptimuman
Pautan asal: https://mp.weixin.qq.com/s/HklBecJfMOUCC8gclo-t7Q
Atas ialah kandungan terperinci DetZero: Waymo menduduki tempat pertama dalam senarai pengesanan 3D, setanding dengan anotasi manual!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Model bahasa yang besar (LLMS) telah melonjak populariti, dengan ciri-ciri alat yang secara dramatik memperluaskan keupayaan mereka di luar penjanaan teks mudah. Sekarang, LLMS dapat mengendalikan tugas automasi yang kompleks seperti penciptaan UI dinamik dan autonomi a

Bolehkah permainan video meringankan kebimbangan, membina fokus, atau menyokong kanak -kanak dengan ADHD? Memandangkan cabaran penjagaan kesihatan melonjak di seluruh dunia - terutamanya di kalangan belia - inovator beralih kepada alat yang tidak mungkin: permainan video. Sekarang salah satu hiburan terbesar di dunia Indus

"Sejarah telah menunjukkan bahawa walaupun kemajuan teknologi memacu pertumbuhan ekonomi, ia tidak sendiri memastikan pengagihan pendapatan yang saksama atau menggalakkan pembangunan manusia yang inklusif," tulis Rebeca Grynspan, Setiausaha Agung Unctad, dalam Mukadimah.

Easy-peasy, gunakan AI Generatif sebagai tutor rundingan dan rakan kongsi sparring anda. Mari kita bercakap mengenainya. Analisis terobosan AI yang inovatif ini adalah sebahagian daripada liputan lajur Forbes yang berterusan pada AI terkini, termasuk mengenal pasti dan menjelaskan

Persidangan TED2025, yang diadakan di Vancouver, membungkus edisi ke -36 semalam, 11 April. Ia menampilkan 80 penceramah dari lebih daripada 60 negara, termasuk Sam Altman, Eric Schmidt, dan Palmer Luckey. Tema Ted, "Kemanusiaan Reimagined," telah disesuaikan dibuat

Joseph Stiglitz adalah ahli ekonomi yang terkenal dan penerima Hadiah Nobel dalam Ekonomi pada tahun 2001. Stiglitz berpendapat bahawa AI dapat memburukkan lagi ketidaksamaan dan kuasa yang disatukan di tangan beberapa syarikat dominan, akhirnya menjejaskan ekonomi

Pangkalan Data Graf: Merevolusi Pengurusan Data Melalui Hubungan Apabila data berkembang dan ciri -cirinya berkembang di pelbagai bidang, pangkalan data grafik muncul sebagai penyelesaian transformatif untuk menguruskan data yang saling berkaitan. Tidak seperti tradisional

Routing Model Besar (LLM): Mengoptimumkan Prestasi melalui Pengedaran Tugas Pintar Landskap LLM yang pesat berkembang membentangkan pelbagai model, masing -masing dengan kekuatan dan kelemahan yang unik. Beberapa cemerlang di Gen Kandungan Kreatif


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Dreamweaver CS6
Alat pembangunan web visual

VSCode Windows 64-bit Muat Turun
Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft

Dreamweaver Mac版
Alat pembangunan web visual

MinGW - GNU Minimalis untuk Windows
Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

Penyesuai Pelayan SAP NetWeaver untuk Eclipse
Integrasikan Eclipse dengan pelayan aplikasi SAP NetWeaver.