Adakah anda benar-benar menguasai penukaran sistem koordinat? Isu berbilang sensor yang tidak dapat dipisahkan daripada pemanduan autonomi

Pengenalan pertama dan perkara penting

Artikel ini terutamanya memperkenalkan beberapa teknologi pemanduan autonomous yang biasa digunakan . Dan cara melengkapkan perkaitan dan penukaran antara mereka, dan akhirnya membina model persekitaran bersatu. Fokus di sini adalah untuk memahami penukaran daripada kenderaan kepada badan tegar kamera (parameter luaran), penukaran kamera kepada imej (parameter dalaman) dan penukaran unit imej kepada piksel. Penukaran daripada 3D kepada 2D akan mempunyai herotan, terjemahan, dsb.
Isi penting: sistem koordinat kenderaan sendirisistem koordinat badan kameraApa yang perlu ditulis semula ialah: sistem koordinat satahsistem koordinat piksel#🎜🎜 🎜🎜 # Kesukaran: Herotan imej mesti dipertimbangkan Kedua-dua penyahherotan dan penambahan herotan diberi pampasan pada satah imej Sistem visual mempunyai empat sistem koordinat: sistem koordinat satah piksel (u, v). sistem koordinat imej (x, y), sistem koordinat kamera () dan sistem koordinat dunia (). Terdapat hubungan antara setiap sistem koordinat, jadi bagaimana untuk mencari koordinat sistem koordinat dunia melalui koordinat piksel imej perlu diselesaikan dengan melalui penentukuran kamera, di mana bahagian algoritma utama terletak pada koordinat Transformasi sistem

, dan transformasi perlu diselesaikan melalui perwakilan

koordinat homogen .

Tiga sistem koordinat sensor3.1 Sistem koordinat kamera#🎜🎜🎜 fungsinya ialah

memampatkan maklumat bentuk dan warna dalam dunia tiga dimensi kepada imej dua dimensi

. algoritma persepsi berasaskan kamera mengekstrak dan memulihkan elemen dan maklumat dalam dunia tiga dimensi, seperti garisan lorong, kenderaan, pejalan kaki, dsb., daripada imej dua dimensi dan mengira kedudukan relatifnya kepada diri mereka sendiri.

Sistem koordinat yang berkaitan dengan algoritma persepsi dan kamera termasuk sistem koordinat imej (sistem koordinat piksel) dan sistem koordinat kamera Apa yang perlu ditulis semula ialah: sistem koordinat satah

. #🎜 🎜#

3.1.1 Sistem koordinat imej (atau sistem koordinat piksel)

Foto atau imej yang disimpan pada komputer biasanya mempunyai sudut kiri atas sebagai asal, menghala ke arah Kanan ialah arah x positif, dan ke bawah ialah arah y positif Unit yang paling biasa digunakan ialah "piksel". Sistem koordinat imej ialah sistem koordinat dua dimensi, berlabel (Xv, Yv).

Kandungan yang perlu ditulis semula ialah: 3.1.2 Sistem koordinat kamera

#🎜🎜🎜 sistem koordinat imej Paksi-x menghala ke kanan dan paksi-y menghala ke bawah, jadi sistem koordinat kamera mengambil pusat paksi optik utama kanta sebagai asalnya. Secara umumnya, arah positif ialah paksi-x ke kanan, arah positif ialah paksi-y ke bawah, dan arah positif ialah paksi-z ke hadapan. Dengan cara ini, arah x dan y adalah konsisten dengan arah sistem koordinat imej, dan arah z mewakili kedalaman medan. Sistem koordinat kamera boleh dinyatakan sebagai (Xc, Yc)

Apa yang perlu ditulis semula ialah: 3.1.3 Apa yang perlu ditulis semula ialah: sistem koordinat satah (atau sistem Koordinat pengimejan)

Supaya dapat secara kuantitatif menerangkan hubungan pemetaan antara ruang tiga dimensi dan imej dua dimensi #🎜🎜 #, grafik yang diperkenalkan perlu ditulis semula ialah: sistem koordinat satah. Ia adalah terjemahan sistem koordinat kamera Bahagian tengah masih pada paksi optik utama kamera Jarak dari pusat paksi optik adalah sama dengan panjang fokus kamera

#. 🎜🎜#

Kita tahu bahawa kamera akan Imej terbalik yang dikurangkan muncul pada filem di belakang pusat paksi, iaitu satah imej sebenar (Xf, Yf). Walau bagaimanapun, untuk kemudahan analisis dan pengiraan, kami akan menyediakan satah imej maya di hadapan pusat paksi optik. Imej pada satah imej maya ialah imej tegak, dan saiznya sama dengan imej terbalik sebenar

Apa yang perlu ditulis semula ialah: sistem koordinat satah

3.5 Sistem koordinat dunia Bergantung pada situasi tertentu, sebarang objek boleh diwakili, yang diperkenalkan oleh kamera . Unitnya ialah meter

Sistem koordinat dunia

, sistem koordinat kamera

#🎜,🎜# #🎜 sistem

dan sistem koordinat piksel

Sistem koordinat Empat Lidar

Pengesanan Lidar dan Deringan (Light) Teknologi Penderiaan Jauh

, menggunakan pancaran laser untuk mengukur jarak ke objek. Ia memancarkan sinar dalam putaran 360 darjah, dan membentuk awan elektrik berdasarkan pantulan berbeza bagi pemantulan sasaran yang berbeza. Dalam bidang pemanduan autonomi dan robotik, Lidar sering digunakan sebagai penderia utama untuk

mendapatkan maklumat 3D persekitaran sekeliling. Dalam kebanyakan kes, sistem koordinat Lidar adalah tangan kanan, tetapi definisi khusus mungkin berbeza-beza bergantung pada pengeluar Lidar.

4.1 Definisi

X paksi: selalunya menunjuk di hadapan Lidar. Apabila pancaran laser ditembak terus ke hadapan, ukuran jarak dari arah itu menghasilkan nilai positif pada paksi-X. Y axis: biasanya menunjuk ke sebelah kiri Lidar. Apabila pancaran laser ditembak terus ke kiri, ukuran jarak dari arah itu menghasilkan nilai positif pada paksi-Y. Paksi Z: Biasanya menunjuk ke atas Lidar, berserenjang dengan paksi X dan Y. Pengukuran ketinggian biasanya diambil di sepanjang paksi Z, dengan nilai positif mewakili objek lebih tinggi daripada peranti Lidar, dan nilai negatif mewakilinya lebih rendah daripada peranti Lidar.

4.2 Kepentingan

• Sistem koordinat sistem Lidar yang dipasang pada kenderaan mungkin tidak sejajar sepenuhnya dengan sistem koordinat kenderaan, dan matriks transformasi diperlukan untuk melakukan transformasi koordinat antara kedua-duanya.
• Anotasi data, penjanaan peta, pengesanan objek dan tugas lain memerlukan takrifan yang jelas bagi sistem koordinat Lidar.
• Untuk penyatuan data dengan penderia lain, seperti kamera, adalah sangat penting untuk mengetahui sistem koordinat masing-masing untuk melakukan penjajaran dan gabungan data yang betul.
• Apabila melakukan gabungan data dengan kamera, radar atau penderia lain, biasanya perlu mengetahui parameter penentukuran luaran (contohnya, matriks putaran dan terjemahan) antara Lidar dan penderia ini untuk melakukan transformasi koordinat antaranya.

Sistem koordinat lima kenderaan

Pilih sistem koordinat rujukan dalam persekitaran umum untuk menghuraikan kedudukan penderia dan objek Sistem koordinat ini dipanggil sistem koordinat dunia secara amnya merujuk kepada badan kenderaan Pusat gandar belakang ialah asal (kerana pusat gandar belakang tidak akan berubah berbanding hayunan kereta) , sistem koordinat ruang kiri atas depan atau atas kanan depan, kiri (kanan) secara amnya mendatar, bahagian depan biasanya membujur, dan atas merujuk kepada tanah Dalam ruang di atas, sistem koordinat bergerak dengan pergerakan kereta. Semua sasaran hiliran yang perlu dikesan dan keluaran mestilah di bawah sistem koordinat kenderaan sendiri Sasaran perspektif BEV juga merujuk kepada di bawah sistem koordinat ini

Secara amnya, sistem koordinat tiga dimensi. menggunakan tiga paksi ortogon X , Y, Z mewakili kedudukan objek, dan sudut putaran (sudut gulung, sudut pic, sudut yaw) di sekeliling ketiga-tiga paksi ortogon ini mewakili sikap objek. Sistem koordinat masa hanya mempunyai satu dimensi. Untuk kemudahan ekspresi, kami biasanya membincangkan koordinat ruang dan koordinat masa secara berasingan.

6 Parameter dalaman dan luaran kamera

6.1 Parameter dalaman kamera

Parameter dalaman digunakan untuk menentukan hubungan tayangan kamera daripada ruang tiga dimensi kepada imej dua dimensi. Ia terutamanya mengandungi tiga parameter, titik utama kamera, panjang fokus kamera dan pekali herotan. Parameter dalaman biasanya diberikan oleh peniaga, dan penentukuran kamera juga boleh dilakukan. Dalam aplikasi pemanduan autonomi, parameter dalaman kamera adalah pemalar dan tidak akan berubah semasa digunakan, tetapi ia perlu ditentukur sebelum digunakan. Proses penangkapan kamera boleh disarikan sebagai proses pemetaan daripada sistem koordinat kamera 3D kepada sistem koordinat kamera 2D Apa yang perlu ditulis semula ialah: sistem koordinat satah, dan kemudian proses pemetaan kepada sistem koordinat imej. 6.2 Panjang fokus (f)

Ia menerangkan jarak

antara penderia imej

dan kanta kamera. Biasanya diwakili oleh dua parameter (
• ) dan (), masing-masing sepadan dengan paksi-x dan paksi-y imej. Dalam banyak kes, kami menganggap (
), yang bermaksud bahawa piksel adalah segi empat sama dalam kedua-dua arah.
6.3 Titik utama

Ia adalah titik dalam imej, biasanya berhampiran dengan pusat imej. Ia ialah titik 2D yang sepadan dengan titik dalam ruang 3D apabila ditayangkan pada satah imej.

biasanya diwakili oleh dua parameter (
• ) dan (
• ), yang sepadan dengan koordinat pada paksi-x dan paksi-y imej.
6.4 Pekali herotan

Kanta kamera sebenar mungkin menyebabkan herotan, menyebabkan herotan imej. herotan biasa termasuk herotan jejarian dan herotan tangen.

Pekali herotan jejari yang biasa digunakan ialah (
• ).
• Pekali herotan tangen ialah (
).
Secara amnya, parameter dalaman kamera boleh diwakili oleh matriks:

Matriks ini sering dipanggil matriks parameter dalaman atau matriks kamera.

6.5 Parameter ekstrinsik kamera

Simpulkan kedudukan objek dalam sistem koordinat kamera tiga dimensi melalui imej dua dimensi, seperti mendapatkan maklumat jarak dan kedalaman. Dapatkan maklumat jarak tiga dimensi daripada imej dua dimensi Jika perlu mendapatkan kedudukan objek dalam sistem koordinat dunia , anda juga perlu mengetahui pose kamera dalam sistem koordinat dunia . Perwakilan pose ini dipanggil parameter luaran kamera, dirujuk sebagai parameter luaran, dan digunakan untuk menentukan hubungan kedudukan relatif antara koordinat kamera dan sistem koordinat dunia. Dalam aplikasi pemanduan autonomi, mendapatkan hubungan kedudukan ini memerlukan satu siri kerja penentukuran dan penentududukan. Kamera ialah matriks putaran + terjemahan berbanding dengan sistem koordinat lain, di mana parameter luaran putaran ialah sudut Euler yang disebut di atas [yaw, tampal, guling], susunan putaran secara amnya (z-y-x), darjah unit terjemahan; parameter ialah terjemahan kamera kepada sistem koordinat sasaran Jarak, meter unit

Sistem koordinat tujuh kenderaan dan sistem koordinat dunia

7.1 Sistem Koordinat Kenderaan (Sistem Koordinat Kenderaan)

Sistem koordinat tetap pada kenderaan.

• Biasanya, paksi-X menghala ke hadapan kenderaan, paksi-Y menghala ke kanan (atau kiri, bergantung pada persetujuan) kenderaan, dan paksi-Z menghala ke atas kenderaan.
• Asal sistem koordinat ini biasanya terletak pada titik tetap pada kenderaan, seperti pusat kenderaan, gandar belakang kenderaan, dan lain-lain, bergantung pada aplikasi dan konvensyen tertentu.

7.2 Sistem Koordinat Dunia

Ini ialah sistem koordinat global tetap yang digunakan untuk menerangkan objek dan kenderaan dalam persekitaran.

• Asal usul dan arah sistem koordinat dunia biasanya dipilih berdasarkan aplikasi atau senario tertentu. Sebagai contoh, ia boleh diletakkan pada titik tetap pada peta, atau di tengah pemandangan.
• Sistem koordinat dunia menyediakan rangka rujukan yang sama untuk berbilang entiti, membenarkan kedudukan relatif dan navigasi antara mereka.

Hubungan dan penukaran:

- Sejak kenderaan bergerak di dunia, hubungan antara sistem koordinat kenderaan sendiri dan sistem koordinat dunia berubah mengikut masa. - Untuk menukar antara dua sistem koordinat ini, matriks transformasi atau transformasi (biasanya terdiri daripada putaran dan terjemahan) biasanya diperlukan. Penukaran ini boleh diperolehi melalui pelbagai sensor (seperti GPS, IMU, lidar) dan algoritma (seperti SLAM). - Penjelmaan boleh dinyatakan sebagai matriks koordinat homogen 4x4, membolehkan kita mengubah dari satu sistem koordinat ke sistem koordinat yang lain.

Dalam kebanyakan kes, sistem koordinat kenderaan sendiri dan sistem koordinat dunia adalah sama, dan artikel ini juga memahami ini

Hubungan penukaran antara lapan sistem koordinat

8.1 Dari sistem koordinat dunia sistem koordinat kamera

Transformasi sistem koordinat antara objek boleh mewakili

transformasi putaran ditambah transformasi terjemahan sistem koordinat, dan perkara yang sama berlaku untuk hubungan penukaran daripada sistem koordinat dunia kepada sistem koordinat kamera. Memusingkan sudut yang berbeza di sekeliling paksi yang berbeza menghasilkan matriks putaran yang berbeza.

Gambarajah skematik putaran θ mengelilingi paksi Z:

Akhirnya, ia boleh diringkaskan secara ringkas sebagai matriks putaran:

Terjemahan: Terjemahkan titik koordinat kamera ialah () kepada Titik koordinat kamera ialah () titik koordinat dunia

8.2 Sistem koordinat kamera kepada sistem koordinat imej

Daripada sistem koordinat kamera kepada sistem koordinat imej, ia tergolong dalam hubungan unjuran perspektif, menukar daripada 3D kepada 2D Ia juga boleh dilihat sebagai model perubahan model lubang jarum. Penuhi teorem persamaan segi tiga.

8.3 Sistem koordinat imej ke sistem koordinat piksel

Dalam kes ini, tidak seperti transformasi sistem koordinat sebelumnya, tiada perubahan putaran pada masa ini, tetapi kedudukan dan saiz asal koordinat tidak konsisten, jadi reka bentuk teleskopik diperlukan Transformasi dan transformasi terjemahan

8.4 Hubungan antara empat sistem koordinat

Melalui perhubungan penukaran akhir, titik koordinat tiga dimensi boleh mencari titik piksel yang sepadan dalam imej. Walau bagaimanapun, sebaliknya, ia menjadi masalah untuk mencari titik sepadan dalam ruang tiga dimensi melalui titik dalam imej, kerana kita tidak tahu nilai di sebelah kiri persamaan

Kotak merah ialah parameter luaran, R dan T ialah jumlah putaran dan terjemahan masing-masing. Parameter dalaman ialah sifat bawaan kamera, yang sebenarnya ialah panjang fokus f dan saiz piksel dx,dy. Jelas sekali, ia mewakili jarak antara titik dan paksi optik

Sembilan ringkasan

menyusun pelbagai sistem koordinat pemanduan autonomi, menunjukkan hubungan antara pelbagai sistem koordinat pemanduan autonomi, dan akhirnya memperoleh hubungan antara. sistem koordinat piksel dan sistem koordinat dunia.

Pautan asal: https://mp.weixin.qq.com/s/tTRCjZBRZcnb59nX3FRR8w

Atas ialah kandungan terperinci Adakah anda benar-benar menguasai penukaran sistem koordinat? Isu berbilang sensor yang tidak dapat dipisahkan daripada pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!