"Sukar untuk membezakan antara benar dan palsu"! Penggunaan bijak data simulasi pemanduan autonomi yang dijana oleh NeRF

Ditulis di atas & pemahaman peribadi pengarang

Neural Radiation Field (NeRF) telah menjadi alat yang memajukan permulaan kepada pencarian semula untuk pemanduan autonomi (AD), menyediakan simulasi gelung tertutup berskala dan keupayaan peningkatan data. Walau bagaimanapun, untuk mempercayai keputusan yang diperoleh dalam simulasi, adalah perlu untuk memastikan bahawa sistem AD melihat data sebenar dan data yang diberikan dengan cara yang sama. Walaupun prestasi kaedah pemaparan semakin bertambah baik, banyak adegan tetap secara semula jadi mencabar untuk membina semula dengan setia. Untuk tujuan ini, kami mencadangkan perspektif baharu untuk menangani jurang antara data sebenar dan simulasi. Kami bukan sahaja menumpukan pada meningkatkan kesetiaan pemaparan, tetapi meneroka kaedah yang mudah lagi berkesan untuk meningkatkan keteguhan model persepsi kepada artifak NeRF tanpa menjejaskan prestasi data sebenar. Tambahan pula, kami menjalankan penyiasatan berskala besar pertama bagi jurang data sebenar kepada simulasi dalam tetapan AD menggunakan teknik pemaparan saraf terkini. Secara khusus, kajian kami menilai pengesan objek dan model pemetaan dalam talian pada data sebenar dan simulasi serta menyiasat kesan strategi pra-latihan yang berbeza. Keputusan kami menunjukkan ketepatan model yang dipertingkatkan dengan ketara pada data simulasi, malah meningkatkan prestasi dunia sebenar dalam beberapa kes. Akhir sekali, kami menyelidiki persamaan sebenar kepada simulasi, mengenal pasti FID dan LPIPS sebagai penunjuk yang kukuh.

Dalam artikel ini, kami mencadangkan perspektif baharu untuk merapatkan jurang antara sistem pemanduan pintar dan modul persepsi. Matlamat kami bukan untuk meningkatkan kualiti pemaparan tetapi untuk menjadikan model persepsi lebih mantap kepada artifak NeRF tanpa merendahkan prestasi pada data sebenar. Kami percaya bahawa hala tuju ini adalah pelengkap kepada peningkatan prestasi NeRF dan merupakan kunci untuk mendayakan ujian AV maya. Sebagai langkah pertama ke arah ini, kami menunjukkan bahawa walaupun teknik penambahan data yang mudah boleh memberi kesan yang kuat pada keteguhan model kepada artifak NeRF.

Kami menjalankan kajian real2sim+gap luas pertama pada set data AD berskala besar dan menilai prestasi pengesan objek berbilang serta model pemetaan dalam talian pada data sebenar dan data kaedah pemaparan saraf terkini (SOTA). . Kajian kami merangkumi kesan teknik penambahan data yang berbeza semasa latihan, dan kesetiaan pemaparan NeRF semasa inferens. Kami mendapati bahawa semasa penalaan halus model, data ini menunjukkan kesan teknik pembesaran, dan kesetiaan pemaparan NeRF malah meningkatkan prestasi pada data sebenar dalam beberapa kes. Akhir sekali, kami mengkaji korelasi antara metrik pembinaan semula imej tersirat dan biasa dalam real2sim dan mendapatkan pandangan tentang kepentingan menggunakan NeRF untuk simulator data CAD. Kami mendapati bahawa LPIPS dan FID ialah penunjuk yang berkuasa bagi perbezaan real2sim, dan seterusnya mengesahkan bahawa cadangan peningkatan kami mengurangkan sensitiviti komposisi visual yang kurang kontras.

Penjelasan kaedah terperinci

Untuk menguji dan mengesahkan keupayaan AD enjin simulasi dipacu NeRF, mereka boleh menggunakan data yang telah dikumpul untuk meneroka senario maya baharu. Walau bagaimanapun, agar keputusan menggunakan model sedemikian boleh dipercayai, sistem AD mesti berkelakuan dengan cara yang sama semasa memproses data dan data sebenar. Dalam kerja ini, kami mencadangkan pendekatan alternatif dan pelengkap untuk menyesuaikan sistem AD untuk menjadikannya kurang sensitif terhadap perbezaan antara data sebenar dan simulasi. Dengan cara ini, kita boleh menala sistem AD supaya kurang sensitif kepada perbezaan antara data sebenar dan simulasi dan dengan itu mengendalikan perbezaan antara data sebenar dan simulasi dengan lebih baik.

Sebagai langkah pertama dalam meneroka cara strategi penalaan halus boleh menjadikan model persepsi lebih mantap kepada artifak dalam data yang diberikan, kami menggunakan strategi penalaan halus yang berbeza. Khususnya, memandangkan model yang sudah terlatih, kami memperhalusi model persepsi menggunakan imej yang menumpukan pada peningkatan prestasi imej yang diberikan sambil mengekalkan prestasi pada data sebenar, lihat Rajah 2. Di samping mengurangkan jurang real2sim, ini juga mungkin mengurangkan keperluan untuk realisme sensor, membuka jalan untuk penggunaan kaedah pemaparan saraf yang lebih meluas, dan mengurangkan keperluan pengiraan untuk latihan dan penilaian kaedah penerangan. Ambil perhatian bahawa semasa kami menumpukan pada model persepsi, pendekatan kami boleh diperluaskan dengan mudah kepada model hujung ke hujung juga.

Akhir sekali, kita boleh membayangkan pelbagai cara untuk mencapai matlamat menjadikan model lebih mantap, seperti mendapatkan inspirasi daripada penyesuaian domain dan literatur pembelajaran pelbagai tugas. Walau bagaimanapun, penalaan halus memerlukan pelarasan khusus model yang minimum, membolehkan kami mempelajari pelbagai model dengan mudah.

Pembesaran imej

Pembesaran imej ialah kaedah yang biasa digunakan, dan strategi klasik untuk meningkatkan keteguhan terhadap artifak ialah menggunakan pembesaran imej. Di sini, kami memilih peningkatan untuk mewakili pelbagai herotan yang terdapat dalam imej yang diberikan. Lebih khusus lagi, kami menambah hingar Gaussian rawak dan melilitkan imej dengan kernel kabur Gaussian, menggunakan herotan fotometri yang serupa dengan yang terdapat dalam SimCLR. Akhir sekali, imej itu diturunkan sampel dan ditingkatkan. Penambahan digunakan secara berurutan, dan setiap penambahan mempunyai kebarangkalian tertentu.

Penalaan halus dengan imej yang dihasilkan bercampur dalam

NeRF ialah model pembelajaran mendalam untuk menghasilkan pemandangan 3D. Semasa penalaan halus, model boleh menyesuaikan diri dengan bentuk semula jadi lain, iaitu, memasukkan data ini semasa penalaan halus. Ini memudahkan keupayaan untuk melatih model NeRF supaya kaedah NeRF boleh dilatih pada set data yang sama seperti model sedar pengawasan. Walau bagaimanapun, latihan NeRF pada set data yang besar mungkin mahal, sesetengah daripadanya mungkin memerlukan label untuk tugas seperti pengesanan objek 3D, pembahagian semantik atau label berbilang kategori. Di samping itu, NeRF AD sering meningkatkan keperluan pesanan data. Untuk menyesuaikan diri dengan keperluan ini, label mungkin memerlukan pemprosesan yang lebih khas, seperti pengesanan objek 3D, pembahagian semantik atau label berbilang kategori, dsb.

Seterusnya, kami membahagikan imej urutan yang dipilih kepada set latihan NeRF dan set penahanan. Penalaan halus model persepsi dilakukan pada keseluruhan set data latihan mereka D, dan untuk imej dengan pemaparan surat-menyurat dalam D, kami menggunakan imej yang diberikan dengan kebarangkalian p. Ini bermakna imej yang digunakan untuk penalaan halus tidak dilihat oleh model NeRF.

Terjemahan imej ke imej

Seperti yang dinyatakan sebelum ini, memberikan data NeRF ialah teknik penambahan data yang mahal. Tambahan pula, sebagai tambahan kepada data yang diperlukan untuk tugas persepsi, ia juga memerlukan data berurutan dan penanda yang berpotensi tambahan. Iaitu, untuk pendekatan berskala, idealnya kami mahukan strategi yang cekap untuk mendapatkan data NeRF untuk satu imej. Untuk tujuan ini, kami mencadangkan untuk menggunakan pendekatan imej ke imej untuk belajar menjana imej seperti NeRF. Memandangkan imej sebenar, model mengubah imej ke domain NeRF, dengan berkesan memperkenalkan artifak tipikal NeRF. Ini membolehkan kami meningkatkan bilangan imej seperti NeRF dengan ketara semasa penalaan halus pada kos pengiraan terhad. Kami melatih model imej-ke-imej menggunakan imej yang diberikan Dnerf dan imej sebenar yang sepadan. Contoh visual strategi peningkatan yang berbeza ditunjukkan dalam Rajah 3.

Hasil

Neural Radiation Field (NeRF) telah menjadi sebahagian daripada simulasi pemanduan autonomi (AD) data pendekatan yang menjanjikan. Walau bagaimanapun, untuk menjadi praktikal, adalah perlu untuk memahami bagaimana tindakan yang dilakukan oleh sistem AD pada data simulasi diterjemahkan kepada data sebenar. Siasatan berskala besar kami mendedahkan jurang prestasi antara model persepsi yang terdedah kepada imej simulasi dan sebenar.

Tidak seperti pendekatan terdahulu yang memfokuskan pada meningkatkan kualiti pemaparan, kertas kerja ini menyiasat cara menukar model persepsi untuk menjadikannya lebih mantap kepada data simulasi NeRF. Kami menunjukkan bahawa penalaan halus dengan data seperti NeRF atau NeRF mengurangkan dengan ketara jurang real2sim untuk pengesanan objek dan kaedah pemetaan dalam talian tanpa mengorbankan prestasi pada data sebenar. Tambahan pula, kami menunjukkan bahawa menjana senario baharu di luar pengedaran kereta api sedia ada, seperti simulasi pelepasan lorong, boleh meningkatkan prestasi pada data sebenar. Kajian metrik imej yang biasa digunakan dalam komuniti NeRF menunjukkan bahawa skor LPIPS dan FID menunjukkan korelasi paling kuat dengan prestasi persepsi. Ini menunjukkan bahawa persamaan persepsi mempunyai kepentingan yang lebih besar untuk model persepsi daripada kualiti pembinaan semula semata-mata.

Sebagai kesimpulan, kami percaya bahawa data simulasi NeRF adalah berharga untuk AD, terutamanya apabila menggunakan kaedah cadangan kami untuk meningkatkan keteguhan model persepsi. Tambahan pula, data NeRF bukan sahaja membantu menguji sistem AD pada data simulasi tetapi juga membantu meningkatkan prestasi model persepsi pada data sebenar.

Atas ialah kandungan terperinci "Sukar untuk membezakan antara benar dan palsu"! Penggunaan bijak data simulasi pemanduan autonomi yang dijana oleh NeRF. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!