Menambah tingkah laku ejen sebenar pada simulator pemanduan autonomi CARLA

kertas arXiv "Pemasukan gelagat ejen sebenar dalam simulator pemanduan autonomi CARLA", 22 Jun, Sepanyol.

Peranan simulasi dalam pemanduan autonomi menjadi semakin penting kerana keperluan untuk prototaip pantas dan ujian yang meluas. Simulasi berasaskan fizik menawarkan pelbagai kelebihan dan faedah pada kos yang berpatutan, sambil menghapuskan risiko kepada prototaip, pemandu dan Pengguna Jalan Raya Terdedah (VRU) .

Walau bagaimanapun, terdapat dua batasan utama. Pertama, jurang realiti yang terkenal merujuk kepada perbezaan antara realiti dan simulasi yang menghalang pengalaman pemanduan autonomi simulasi daripada mencapai prestasi dunia sebenar yang berkesan. Kedua, kurangnya pengetahuan empirikal tentang tingkah laku ejen sebenar (manusia), termasuk pemandu sandaran atau penumpang dan pengguna jalan raya lain seperti kenderaan, pejalan kaki atau penunggang basikal.

Simulasi ejen biasanya dipraprogramkan, secara rawak kemungkinan atau dijana berdasarkan data sebenar, tetapi tidak mewakili gelagat ejen sebenar yang berinteraksi dengan senario simulasi tertentu. Kertas kerja ini mencadangkan rangka kerja awal yang membolehkan interaksi masa nyata antara ejen sebenar dan persekitaran simulasi, termasuk kenderaan autonomi, dan menjana data jujukan sintetik daripada sensor simulasi merentas berbilang pandangan untuk melatih sistem ramalan yang bergantung pada model tingkah laku.

Pendekatan ini menyepadukan sistem realiti maya (VR) dan tangkapan gerakan manusia (HMC) yang mendalam dengan CARLA untuk pemanduan autonomi. Ia menerangkan seni bina perkakasan dan perisian dan membincangkan apa yang dipanggil jurang tingkah laku.

Seperti yang ditunjukkan dalam rajah adalah gambaran keseluruhan kaedah: (1) CARLA-UE dilengkapi dengan pose kepala (set kepala VR) dan badan (sistem tangkapan gerakan). (2) Hasilkan adegan termasuk kenderaan autonomi dan pejalan kaki digital. (3) Sediakan persekitaran untuk pejalan kaki (melalui set kepala VR). (4) Penderia kenderaan automatik mengesan persekitaran, termasuk pejalan kaki.

Berikut memperkenalkan fungsi sistem VR imersif dalam simulator pemanduan autonomi CARLA.

Mencapai rendaman pejalan kaki sepenuhnya dengan menjalankan kajian tingkah laku dan interaksi menggunakan keupayaan yang disediakan oleh UE4 dan perkakasan luaran seperti cermin mata VR dan satu set penderia gerakan.

Simulator sumber terbuka CARLA dilaksanakan pada UE4, yang menyediakan pemaparan berkualiti tinggi, persekitaran fizik yang realistik dan ekosistem pemalam yang boleh dikendalikan. CARLA mensimulasikan adegan trafik dinamik dan menyediakan antara muka antara dunia maya yang dicipta oleh UE4 dan ejen jalan yang berjalan di tempat kejadian. CARLA direka bentuk sebagai sistem pelayan-pelanggan untuk mencapai ini, dengan pelayan menjalankan simulasi dan memaparkan adegan. Komunikasi antara klien dan pelayan dilakukan melalui soket.

Ciri-ciri utama memasukkan gelagat ejen sebenar ke dalam simulasi adalah berdasarkan lima perkara (seperti yang ditunjukkan dalam rajah): 1) Kawalan Avatar: Pustaka pelan tindakan CARLA , kumpulkan seni bina semua watak dan atribut, ubah suai pelan tindakan pejalan kaki dan cipta antara muka VR yang mengasyikkan dan boleh alih antara manusia dan dunia maya 2) Penjejakan Badan: Gunakan set penderia inersia; dan perisian luaran proprietari Tangkap pergerakan subjek dan persepsi gerakan melalui adegan sebenar, dan integrasikan pergerakan Avatar ke dalam simulator melalui fail .bvh; dalam persekitaran , tingkatkan rasa rendaman; 4) integrasi eHMI: merealisasikan komunikasi status kenderaan autonomi dan maklumat niat, dan lakukan penyelidikan interaktif; adegan dalam klien CARLA , kawal tingkah laku kenderaan dan pejalan kaki. Komunikasi antara pengguna jalan raya merupakan faktor penting dalam persekitaran trafik. Dalam percubaan, antara muka mesin manusia luaran (eHMI) telah disediakan untuk kenderaan autonomi itu untuk menyampaikan status dan niatnya kepada pengguna jalan raya sebenar.

Seperti yang ditunjukkan dalam rajah, reka bentuk eHMI yang dicadangkan terdiri daripada jalur cahaya di sepanjang bahagian hadapan kereta. Gambar di sebelah kiri tanpa eHMI, dan gambar di sebelah kanan adalah dengan eHMI. Ini membolehkan mengkaji kesan antara muka dalam membuat keputusan apabila trajektori pejalan kaki bertumpu dengan trajektori kenderaan dalam adegan maya.

Seluruh seni bina sistem adalah seperti yang ditunjukkan di bawah:

CARLA menyediakan pilihan berbeza untuk mensimulasikan trafik dan senario trafik tertentu. Isi simulasi dengan keadaan trafik bandar yang realistik dengan modul pengurusan trafik. Kawalan setiap kenderaan dilaksanakan dalam benang tertentu. Komunikasi dengan lapisan lain diuruskan melalui pemesejan segerak.

Kawal aliran trafik dengan menetapkan parameter yang memaksa tingkah laku tertentu. Contohnya, kereta boleh dibenarkan memecut, mengabaikan keadaan lampu isyarat, mengabaikan pejalan kaki, atau memaksa menukar lorong.

Badan utama disepadukan ke dalam simulator termasuk peta model 3-D bandar. Setiap peta adalah berdasarkan fail OpenDRIVE yang menerangkan reka letak jalan beranotasi sepenuhnya. Ciri ini membolehkan mereka bentuk peta anda sendiri, menghasilkan semula senario trafik yang sama dalam persekitaran sebenar dan maya, menilai penyepaduan gelagat sebenar simulator dan dapat menjalankan kajian lapangan dengan membandingkan hasil interaksi.

Tetapan perkakasan adalah seperti yang ditunjukkan dalam rajah: Semasa percubaan, Oculus Quest 2 digunakan sebagai peranti yang dipasang di kepala (HMD), Meta dicipta, pemproses RAM 6GB, dua kanta 1832 x 1920 boleh laras, 90Hz kadar segar semula dan 256 GB RAM. Quest 2 menampilkan Wi-Fi 6, Bluetooth 5.1 dan sambungan USB Type-C, sokongan SteamVR dan pembesar suara 3D. Untuk penjejakan seluruh badan, bungkus penyelesaian dengan PNS dengan penjejak inersia. Kit ini termasuk set kepala VR kendiri, 2 pengawal gerakan, 17 penderia badan inersia Studio, 14 set tali, kes pengecasan dan transceiver Studio.

Memandangkan CARLA build dan Quest 2 hanya bergantung pada Windows, VR Immersion System kini bergantung pada sistem pengendalian UE4.24 dan Windows 10. Dengan pemalam soket TCP, kedudukan editor semua peserta dan parameter berguna lain dihantar daripada API Python, menyepadukan suara setiap peserta atau eHMI kenderaan autonomi. "Pratonton VR" memulakan permainan di HMD. Perception Neuron Studio berfungsi dengan Axis Studio, yang menyokong sehingga 3 subjek pada satu masa dan 23 penderia badan dan jari secara serentak.

Gambar menunjukkan simulasi keadaan trafik interaktif: (a) Reka bentuk dunia 3D. (b) Avatar pelaksana padanan pejalan kaki. (c) Kereta pandu sendiri. (d) Bunyi persekitaran dan bunyi pintar. (e) eHMI. (f) Lampu isyarat dan tanda isyarat.

Atas ialah kandungan terperinci Menambah tingkah laku ejen sebenar pada simulator pemanduan autonomi CARLA. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!