Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

kertas arXiv "Menyatukan Perwakilan berasaskan Voxel dengan Transformer untuk Pengesanan Objek 3D", 22 Jun, Universiti China Hong Kong, Universiti Hong Kong, Teknologi Megvii (sebagai ingatan Dr. Sun Jian) ​​dan Teknologi Simou, dll.

Kertas kerja ini mencadangkan rangka kerja pengesanan objek 3-D berbilang mod bersatu, dipanggil UVTR. Kaedah ini bertujuan untuk menyatukan perwakilan berbilang mod ruang voxel dan membolehkan pengesanan 3-D mod tunggal atau rentas mod tunggal yang tepat dan mantap. Untuk tujuan ini, ruang khusus modaliti direka bentuk untuk mewakili input yang berbeza kepada ruang ciri voxel. Kekalkan ruang voxel tanpa pemampatan ketinggian, mengurangkan kekaburan semantik dan membolehkan interaksi spatial. Berdasarkan pendekatan bersatu ini, interaksi rentas modal dicadangkan untuk menggunakan sepenuhnya ciri-ciri sedia ada bagi penderia yang berbeza, termasuk pemindahan pengetahuan dan gabungan modal. Dengan cara ini, ekspresi awan titik yang sedar geometri dan ciri kaya konteks dalam imej boleh dieksploitasi dengan baik, menghasilkan prestasi dan keteguhan yang lebih baik.

Penyahkod pengubah digunakan untuk mencuba ciri secara cekap daripada ruang bersatu dengan lokasi yang boleh dipelajari, yang memudahkan interaksi peringkat objek. Secara umumnya, UVTR mewakili percubaan awal untuk mewakili modaliti yang berbeza dalam rangka kerja yang bersatu, mengatasi prestasi sebelumnya pada input modal tunggal dan berbilang modal, mencapai prestasi terkemuka pada set ujian nuScenes, lidar, kamera dan NDS keluaran berbilang modal. ialah 69.7%, 55.1% dan 71.1% masing-masing.

Kod:https://github.com/dvlab-research/UVTR.

Seperti yang ditunjukkan dalam rajah:

Dalam proses penyatuan perwakilan, ia boleh dibahagikan secara kasar kepada perwakilan aliran peringkat input dan aliran peringkat ciri. Untuk pendekatan pertama, data multimodal diselaraskan pada permulaan rangkaian. Khususnya, awan titik pseudo dalam (a) ditukar daripada imej bantuan kedalaman yang diramalkan, manakala imej paparan julat dalam (b) diunjurkan daripada awan titik. Disebabkan oleh ketidaktepatan kedalaman dalam awan titik pseudo dan keruntuhan geometri 3-D dalam imej paparan julat, struktur spatial data dimusnahkan, yang membawa kepada hasil yang buruk. Untuk kaedah peringkat ciri, kaedah biasa ialah menukar ciri imej kepada frustum dan kemudian memampatkannya ke dalam ruang BEV, seperti ditunjukkan dalam Rajah (c). Walau bagaimanapun, disebabkan trajektori seperti sinarnya, maklumat ketinggian (ketinggian) mampatan pada setiap kedudukan mengagregatkan ciri pelbagai sasaran, sekali gus memperkenalkan kekaburan semantik. Pada masa yang sama, pendekatan tersiratnya sukar untuk menyokong interaksi ciri eksplisit dalam ruang 3-D dan mengehadkan pemindahan pengetahuan selanjutnya. Oleh itu, perwakilan yang lebih bersatu diperlukan untuk merapatkan jurang modal dan memudahkan interaksi pelbagai rupa.

Rangka kerja yang dicadangkan dalam artikel ini menyatukan perwakilan berasaskan voxel dan pengubah. Khususnya, perwakilan ciri dan interaksi imej dan awan titik dalam ruang eksplisit berasaskan voxel. Untuk imej, ruang voxel dibina dengan ciri pensampelan dari satah imej mengikut kedalaman yang diramalkan dan kekangan geometri, seperti ditunjukkan dalam Rajah (d). Untuk awan titik, lokasi yang tepat secara semula jadi membolehkan ciri dikaitkan dengan voxel. Kemudian, pengekod voxel diperkenalkan untuk interaksi spatial untuk mewujudkan hubungan antara ciri bersebelahan. Dengan cara ini, interaksi rentas modal diteruskan secara semula jadi dengan ciri dalam setiap ruang voxel. Untuk interaksi peringkat sasaran, pengubah boleh ubah bentuk digunakan sebagai penyahkod untuk mencontohi ciri khusus pertanyaan sasaran pada setiap kedudukan (x, y, z) dalam ruang voxel bersatu, seperti yang ditunjukkan dalam Rajah (d). Pada masa yang sama, pengenalan kedudukan pertanyaan 3-D dengan berkesan mengurangkan kekaburan semantik yang disebabkan oleh mampatan maklumat ketinggian (ketinggian) dalam ruang BEV.

Seperti yang ditunjukkan dalam rajah ialah seni bina UVTR bagi input berbilang modal: diberikan bingkai tunggal atau imej berbilang bingkai dan awan titik, ia mula-mula diproses dalam tulang belakang tunggal dan ditukarkan kepada spatial VI khusus modaliti dan VP, di mana transformasi paparan digunakan untuk imej. Dalam pengekod voxel, ciri berinteraksi secara spatial, dan pemindahan pengetahuan mudah disokong semasa latihan. Bergantung pada tetapan, pilih ciri mod tunggal atau berbilang modal melalui suis modal. Akhir sekali, ciri diambil sampel daripada VU spatial bersatu dengan lokasi yang boleh dipelajari dan diramalkan menggunakan penyahkod pengubah.

Gambar menunjukkan butiran transformasi pandangan:

Gambar menunjukkan butiran pemindahan pengetahuan:

Keputusan percubaan adalah seperti berikut:

Atas ialah kandungan terperinci Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!