Tafsiran mendalam teknologi penentukuran sensor on-board untuk kereta pintar

Penderia penentukuran ialah pautan yang diperlukan dalam sistem persepsi pemanduan autonomi. Ia merupakan langkah dan prasyarat yang perlu untuk gabungan sensor berikutnya. gabungan sensori. Menjadi bermakna adalah prasyarat utama untuk membuat keputusan persepsi. Mana-mana penderia perlu ditentukur melalui eksperimen selepas pembuatan dan pemasangan untuk memastikan penderia memenuhi spesifikasi reka bentuk dan memastikan ketepatan nilai pengukuran.

Selepas penderia dipasang pada kenderaan autonomi, ia perlu ditentukur pada masa yang sama, semasa proses pemanduan kenderaan, disebabkan oleh getaran dan sebab lain, penderia kedudukan akan menyimpang dari kedudukan asal , jadi perlu untuk menentukur sensor pada selang waktu tertentu. Kereta pandu sendiri berfungsi secara serentak melalui pelbagai jenis penderia untuk persepsi alam sekitar dan kesedaran diri Kekukuhan dan ketepatan penderia amat penting dalam proses persepsi kereta pandu sendiri.

01 Penentukuran kamera

Kamera kenderaan dipasang pada kenderaan pada sudut dan kedudukan tertentu untuk membandingkan data persekitaran yang dikumpul oleh kamera kenderaan dengan Untuk sepadan dengan objek sebenar dalam persekitaran pemanduan kenderaan, iaitu, untuk mencari hubungan penukaran antara koordinat titik dalam sistem koordinat piksel imej yang dihasilkan oleh kamera kenderaan dan koordinat titik dalam sistem koordinat persekitaran kamera, penentukuran kamera diperlukan.

1. Penentukuran parameter dalaman kamera

1.1 Penubuhan model kamera

Melalui hubungan penukaran bersama antara sistem koordinat persekitaran, sistem koordinat kamera, sistem koordinat fizikal imej dan sistem koordinat piksel imej, kita boleh mencari hubungan penukaran antara sistem koordinat persekitaran dan sistem koordinat piksel imej, iaitu,

Titik P untuk dunia sebenar. Koordinatnya dalam sistem koordinat persekitaran ialah (Xw, Yw, Zw), dan kedudukannya dalam imej ialah (u, v Kedua-duanya mempunyai hubungan berikut:

Hubungan penukaran antara sistem koordinat persekitaran dan sistem koordinat piksel imej

Untuk matriks parameter dalaman , pemalar keempat fx, fy, Uo, Vo. Ia berkaitan dengan penunjuk teknikal reka bentuk seperti panjang fokus, titik utama dan sensor kamera, dan tidak ada kaitan dengan faktor luaran (seperti persekitaran sekeliling, kedudukan kamera), jadi ia dipanggil parameter dalaman kamera. Rujukan dalaman ditentukan apabila kamera meninggalkan kilang. Walau bagaimanapun, disebabkan proses pembuatan dan isu-isu lain, walaupun kamera yang dihasilkan pada barisan pengeluaran yang sama mempunyai parameter dalaman yang sedikit berbeza Oleh itu, selalunya perlu untuk menentukan parameter dalaman kamera melalui eksperimen. Penentukuran kamera monokular biasanya merujuk kepada penentuan parameter dalaman kamera melalui kaedah eksperimen.

Matriks parameter luaran termasuk matriks putaran dan matriks terjemahan Matriks putaran dan matriks terjemahan bersama-sama menerangkan cara menukar titik daripada sistem koordinat dunia kepada sistem koordinat kamera. Dalam penglihatan komputer, proses menentukan matriks parameter luaran biasanya dipanggil penyetempatan visual. Selepas kamera on-board dipasang di dalam kereta pandu sendiri, kedudukan kamera perlu ditentukur dalam sistem koordinat kenderaan. Di samping itu, disebabkan oleh bonggol dan getaran kereta, kedudukan kamera on-board perlahan-lahan akan berubah dari semasa ke semasa, jadi kereta pandu sendiri perlu menentukur semula kedudukan kamera dengan kerap, satu proses yang dipanggil penentukuran.

1.2 Pembetulan herotan kamera

Dalam penggunaan sebenar, kamera tidak dapat mengikuti lubang jarum yang ideal dengan tepat sepenuhnya Apabila kamera model melakukan unjuran perspektif, biasanya terdapat herotan kanta, iaitu, terdapat ralat herotan optik tertentu antara imej yang dijana oleh titik objek pada satah pengimejan kamera sebenar dan pengimejan yang ideal Ralat herotan adalah terutamanya ralat herotan jejarian dan tangen kesilapan penyelewengan.

Herohan jejari: Disebabkan ciri-ciri kanta, cahaya cenderung membengkok sedikit atau besar di bahagian tepi lensa kamera, yang dipanggil herotan jejarian. Herotan jenis ini lebih jelas dalam kanta murah biasa terutamanya termasuk herotan tong dan herotan pincushion. Herotan tong ialah pengembangan imej pengimejan berbentuk tong yang disebabkan oleh struktur objek kanta dan kumpulan kanta dalam kanta. Herotan tong biasanya lebih mudah dikesan apabila menggunakan kanta sudut lebar atau apabila menggunakan hujung sudut lebar kanta zum. Herotan kusyen pin ialah fenomena imej "mengecut" ke arah tengah yang disebabkan oleh kanta. Orang ramai lebih cenderung melihat herotan kusyen pin apabila menggunakan hujung telefoto kanta zum.

• Herohan tangensial: Ia disebabkan oleh fakta bahawa lensa itu sendiri tidak selari dengan satah sensor kamera (satah pengimejan) atau satah imej acuan kanta Disebabkan oleh sisihan pemasangan pada kumpulan.

Dalam penglihatan komputer, herotan jejari mempunyai kesan yang sangat penting pada pembinaan semula pemandangan. Persepsi sistem pemanduan autonomi terhadap alam sekitar memerlukan kamera untuk mencapai pembinaan semula ketepatan tinggi persekitaran sekeliling Jika herotan tidak dibetulkan, maklumat persekitaran yang tepat tidak boleh diperolehi. Sebagai contoh, sasaran dalam persekitaran mungkin muncul di mana-mana kawasan imej Jika herotan tidak diperbetulkan, lokasi sasaran dan saiz yang diperoleh melalui teknologi penglihatan selalunya tidak tepat, yang secara langsung akan menjejaskan keselamatan pemanduan kenderaan autonomi. Selain itu, kereta pandu sendiri dilengkapi dengan berbilang kamera di lokasi yang berbeza Jika herotan jejari tidak dipertimbangkan, semasa proses mencantum imej, kesan kabur imej yang dijahit akan disebabkan oleh ketidakpadanan ciri yang sepadan.

Untuk kamera am, herotan jejari imej sering digambarkan sebagai model polinomial tertib rendah. Andaikan (u, v) ialah koordinat bagi titik yang dibetulkan, (u', u') ialah koordinat bagi titik yang tidak dibetulkan, maka penjelmaan antara kedua-duanya boleh ditentukan dengan formula berikut:

Model polinomial tertib rendah herotan jejari

Sebaliknya, untuk pemotongan herotan Tangensial boleh dibetulkan menggunakan dua parameter lain p1 dan p2:

Herotan tangen Rendah- tertib model polinomial

1.3 Kaedah penentukuran parameter intrinsik kamera

Pada peringkat ini, penentukuran parameter herotan biasanya dilakukan serentak dengan parameter dalaman yang lain. Yang paling banyak digunakan pada masa ini ialah kaedah penentukuran Zhang Zhengyou yang dicadangkan oleh Zhang Zhengyou pada tahun 2000. Kaedah penentukuran Zhang Zhengyou mencari titik sudut dalaman papan penentukuran papan catur dalam setiap imej dengan memotret papan penentukuran papan catur pada kedudukan berbeza, dan menetapkan kekangan pada matriks melalui surat-menyurat antara titik sudut dalaman Dengan itu memulihkan matriks parameter dalaman K.

2 Penentukuran parameter luaran antara kamera

Dalam kereta pandu sendiri, untuk meminimumkan kawasan buta persepsi, pelbagai- mod kamera sering digunakan. Menentukan hubungan kedudukan relatif antara berbilang kamera dipanggil penentukuran parameter luaran kamera.

Dari perspektif lain, penentukuran parameter luaran kamera juga boleh dipanggil masalah "anggaran pose". Pose relatif [R|t] antara kedua-dua kamera mempunyai 6 darjah kebebasan (kedudukan ruang dan hubungan putaran Secara teorinya, selagi kedua-dua kamera memperoleh 3 mata dalam ruang pada masa yang sama, hubungan antara kedua-duanya boleh). dipulihkan postur relatif. Masalah memulihkan postur relatif antara kamera daripada tiga pasang mata yang sepadan dipanggil "Perspektif-3-Titik-Masalah, P3P". Pada hakikatnya, lebih daripada 3 mata sering digunakan untuk memulihkan postur relatif untuk meningkatkan keteguhan, dan masalah P3P digeneralisasikan sebagai masalah PnP.

Pada mulanya, penyelidik menggunakan Direct Linear Transform (DLT) untuk menyelesaikan masalah PnP Kemudian, untuk meningkatkan ketepatan, penyelidik mencadangkan ralat unjuran semula linear yang teguh digunakan untuk menyelesaikan masalah PnP, dan kaedah pelarasan berkas yang terkenal (Pelarasan Ikatan, BA) dalam anggaran sikap dicadangkan.

02 penentukuran Lidar

Lidar ialah salah satu penderia utama platform pemanduan autonomi dan memainkan peranan penting dalam persepsi dan kedudukan. Seperti kamera, lidar juga perlu menentukur parameter dalaman dan luarannya sebelum digunakan. Penentukuran parameter dalaman merujuk kepada hubungan penukaran antara sistem koordinat pemancar laser dalamannya dan sistem koordinat radar sendiri Ia telah ditentukur sebelum meninggalkan kilang dan boleh digunakan secara terus. Apa yang perlu dilakukan oleh sistem pemanduan autonomi ialah penentukuran parameter luaran, iaitu hubungan antara sistem koordinat lidar sendiri dan sistem koordinat badan kenderaan.

Lidar dan badan kenderaan disambung dengan tegar, dan sikap relatif serta anjakan antara kedua-duanya ditetapkan. Untuk mewujudkan hubungan koordinat relatif antara lidar dan antara lidar dan kenderaan, adalah perlu untuk menentukur pemasangan lidar dan menukar data lidar daripada sistem koordinat lidar kepada sistem koordinat badan kenderaan.

Sistem koordinat kenderaan dan sistem koordinat lidar

Melalui eksperimen, koordinat sebenar bagi titik yang sama dalam dua sistem koordinat, iaitu titik yang sama, boleh dikira dengan mewujudkan satu siri persamaan Tidak Diketahui parameter. Di samping itu, dalam kenderaan autonomi, biasanya perlu untuk menentukur radar laser dan sistem koordinat unit navigasi inersia (IMU) untuk mewujudkan hubungan antara radar laser dan sistem koordinat badan kenderaan.

1. Penentukuran antara lidar dan lidar

Untuk kenderaan autonomi, kadangkala terdapat beberapa lidar Dalam kes ini, setiap persekitaran luaran diperoleh oleh lidar mesti dipetakan dengan tepat ke sistem koordinat badan kenderaan. Oleh itu, apabila terdapat berbilang lidar, kedudukan relatif bagi berbilang lidar perlu ditentukur dan ditentukur.

Terdapat banyak idea untuk menentukur parameter luaran antara lidar Yang lebih biasa digunakan ialah secara tidak langsung memperoleh hubungan antara lidar melalui hubungan penukaran koordinat antara lidar yang berbeza dan koordinat kereta hubungan transformasi antara mereka.

2. Penentukuran lidar dan kamera

Dalam kenderaan autonomi, lidar dan kenderaan tanpa pemandu disambungkan secara tegar anjakan antara mereka adalah tetap Oleh itu, titik data yang diperolehi dengan pengimbasan lidar mempunyai koordinat kedudukan unik yang sepadan dengannya dalam sistem koordinat persekitaran. Begitu juga, kamera juga mempunyai koordinat kedudukan unik dalam sistem koordinat persekitaran, jadi terdapat transformasi koordinat tetap antara lidar dan kamera. Penentukuran bersama lidar dan kamera adalah untuk melengkapkan penyatuan berbilang koordinat sensor seperti koordinat lidar satu baris, koordinat kamera dan koordinat piksel imej dengan mengekstrak titik ciri yang sepadan bagi objek penentukuran pada lidar satu baris dan imej. , dan merealisasikan penentukuran spatial lidar dan kamera.

Selepas penentukuran parameter luaran kamera dan penentukuran parameter luaran lidar selesai, hubungan antara kedua-duanya sebenarnya boleh ditentukan sepenuhnya, dan titik imbasan lidar boleh ditayangkan ke koordinat piksel imej sistem.

Sama seperti kaedah penentukuran parameter dalaman kamera, kaedah penentukuran parameter luaran lidar dan kamera juga boleh menggunakan kaedah penentukuran plat penentukuran.

Atas ialah kandungan terperinci Tafsiran mendalam teknologi penentukuran sensor on-board untuk kereta pintar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!