Pembinaan semula statik visual tulen pertama bagi pemanduan autonomi

Penyelesaian pelabelan visual tulen terutamanya menggunakan penglihatan serta beberapa data daripada GPS, IMU dan penderia kelajuan roda untuk pelabelan dinamik. Sudah tentu, untuk senario pengeluaran besar-besaran, ia tidak semestinya penglihatan tulen Sesetengah kenderaan yang dihasilkan secara besar-besaran akan mempunyai penderia seperti radar keadaan pepejal (AT128). Jika kami mencipta gelung tertutup data dari perspektif pengeluaran besar-besaran dan menggunakan semua penderia ini, kami boleh menyelesaikan masalah pelabelan objek dinamik dengan berkesan. Tetapi tiada radar keadaan pepejal dalam rancangan kami. Oleh itu, kami akan memperkenalkan penyelesaian pelabelan pengeluaran besar-besaran yang paling biasa ini.

Inti penyelesaian anotasi visual semata-mata terletak pada pembinaan semula pose berketepatan tinggi. Kami menggunakan skema pembinaan semula pose Structure from Motion (SFM) untuk memastikan ketepatan pembinaan semula. Walau bagaimanapun, SFM tradisional, terutamanya SFM tambahan, adalah sangat perlahan dan mahal dari segi pengiraan Kerumitan pengiraan ialah O(n^4), dengan n ialah bilangan imej. Kecekapan pembinaan semula jenis ini tidak boleh diterima untuk anotasi data model berskala besar. Kami telah membuat beberapa penambahbaikan pada penyelesaian SFM.

Pembinaan semula klip yang dipertingkatkan terutamanya dibahagikan kepada tiga modul: 1) Gunakan data berbilang sensor, GNSS, IMU dan speedometer roda untuk membina pengoptimuman pose_graf dan mendapatkan pose awal Algoritma ini dipanggil Wheel-Imu-GNSS -Odometry (. WIGO); 2) Pengekstrakan ciri dan pemadanan imej, dan triangulasi secara langsung menggunakan pose yang dimulakan untuk mendapatkan mata 3D awal 3) Akhirnya, BA global (Pelarasan Himpunan) dilakukan. Di satu pihak, penyelesaian kami mengelakkan penambahan SFM, dan sebaliknya, operasi selari boleh direalisasikan antara klip yang berbeza, sekali gus meningkatkan kecekapan pembinaan semula pose Berbanding dengan pembinaan semula inkremental yang sedia ada, ia boleh dicapai 10 hingga 20 kali peningkatan kecekapan.

Semasa proses pembinaan semula tunggal, penyelesaian kami juga telah membuat beberapa pengoptimuman. Sebagai contoh, kami menggunakan Ciri berasaskan pembelajaran (Superpoint dan Superglue), satu ialah titik ciri dan satu lagi ialah kaedah padanan , untuk menggantikan mata utama SIFT tradisional. Kelebihan mempelajari NN-Ciri adalah bahawa dalam satu pihak, peraturan boleh direka bentuk dalam cara yang dipacu data untuk memenuhi beberapa keperluan tersuai dan meningkatkan keteguhan dalam beberapa tekstur yang lemah dan keadaan pencahayaan yang gelap, sebaliknya, ia boleh bertambah baik; Kecekapan pengesanan dan pemadanan titik kunci. Kami telah melakukan beberapa percubaan perbandingan dan mendapati bahawa kadar kejayaan ciri NN dalam adegan malam akan lebih kurang 4 kali lebih tinggi daripada SFIT, daripada 20% hingga 80%.

Selepas mendapat hasil pembinaan semula Klip tunggal, kami akan mengagregatkan berbilang klip. Berbeza daripada skema pemadanan struktur pemetaan HDmap sedia ada, untuk memastikan ketepatan pengagregatan, kami mengguna pakai pengagregatan tahap titik ciri, iaitu, kekangan pengagregatan antara klip dilaksanakan melalui pemadanan titik ciri. Operasi ini serupa dengan pengesanan penutupan gelung dalam SLAM Pertama, GPS digunakan untuk menentukan beberapa bingkai padanan calon kemudian, titik ciri dan penerangan digunakan untuk memadankan imej akhirnya, kekangan penutupan gelung ini digabungkan untuk membina BA global; Pelarasan) dan mengoptimumkan. Pada masa ini, ketepatan dan indeks RTE penyelesaian kami jauh melebihi beberapa penyelesaian SLAM atau pemetaan visual sedia ada.

Percubaan: Gunakan versi colmap cuda, gunakan 180 gambar, resolusi 3848*2168, tetapkan parameter dalaman secara manual dan gunakan tetapan lalai untuk selebihnya Pembinaan semula yang jarang mengambil masa kira-kira 15 minit, dan keseluruhan pembinaan semula padat mengambil masa yang sangat lama masa (1-2j)

Statistik hasil pembinaan semula

Gambarajah titik ciri

kesan pembinaan semula yang jarang bagi bahagian lurus

Kesan kon tanah

Tanda had kelajuan pada ketinggian Kesan

Kesan lintasan zebra persimpangan

mudah untuk tidak menumpu, dan tiada penumpuan selepas mencuba satu set imej: membentuk penapisan ego statik 50-100m mengikut pergerakan kenderaan; penapisan titik dinamik adegan dinamik tinggi, Pose pemandangan terowong

Gunakan berbilang kamera lilitan dan panoramik: pengoptimuman peta padanan titik ciri, item pengoptimuman parameter dalaman dan luaran dan penggunaan odom sedia ada.

https://github.com/colmap/colmap/blob/main/pycolmap/custom_bundle_adjustment.py

pyceres.solve(solver_options, bundle_adjuster.problem, summary)

3DGS mempercepatkan pembinaan semula terlalu lama, jika tidak ia akan mengambil masa pembinaan semula yang padat terlalu lama untuk menerima

Atas ialah kandungan terperinci Pembinaan semula statik visual tulen pertama bagi pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!