Lakukan perjalanan ke masa hadapan, ramalan berbilang paparan pertama + perancangan model dunia pemanduan autonomi tiba

Baru-baru ini, konsep model dunia telah mencetuskan gelombang keghairahan, tetapi bidang pemanduan autonomi tidak boleh melihat "api" dari jauh. Pasukan dari Institut Automasi, Akademi Sains China, mencadangkan buat pertama kalinya model dunia berbilang paparan baharu yang dipanggil Drive-WM, bertujuan untuk meningkatkan keselamatan perancangan pemanduan autonomi hujung ke hujung.

Laman web: https://drive-wm.github.io

URL kertas: https://arxiv.org/abs/2311.17918The first

prediksi dan ramalan pertama Model Dunia Pemanduan Autonomi

Di Seminar Pemanduan Autonomi CVPR2023, dua gergasi teknologi utama Tesla dan Wayve mempamerkan teknologi hitam mereka, dan konsep baharu yang dipanggil "Model Dunia Generatif" menjadi popular dalam bidang pemanduan autonomi. Wayve juga mengeluarkan model AI generatif GAIA-1, menunjukkan keupayaan penjanaan adegan video yang menakjubkan. Baru-baru ini, penyelidik dari Institut Automasi Akademi Sains China juga telah mencadangkan model dunia pemanduan autonomi baharu - Drive-WM, yang merealisasikan model dunia ramalan berbilang pandangan buat kali pertama dan disepadukan dengan lancar dengan penghujung arus perdana semasa. -perancang pemanduan autonomi ke hujung.

Drive-WM mengambil kesempatan daripada keupayaan penjanaan berkuasa model Diffusion untuk menjana adegan video yang realistik.

Bayangkan anda sedang memandu, dan sistem on-board anda meramalkan perkembangan masa depan berdasarkan tabiat pemanduan dan keadaan jalan anda, dan menjana maklum balas visual yang sepadan untuk membimbing pemilihan laluan trajektori. Keupayaan untuk meramal masa depan digabungkan dengan perancang akan meningkatkan keselamatan pemanduan autonomi!

Ramalan dan perancangan berdasarkan model dunia berbilang paparan. Gabungan model dunia dan pemanduan autonomi hujung ke hujung meningkatkan keselamatan pemanduan

Model Drive-WM membawa dunia kepada Gabungan model dan perancangan hujung ke hujung membuka lembaran baharu untuk pembangunan hujung ke hujung. -menamatkan pemanduan autonomi. Pada setiap langkah masa, perancang boleh menggunakan model dunia untuk meramalkan kemungkinan senario masa depan, dan kemudian menggunakan fungsi ganjaran imej untuk menilai sepenuhnya.

Pokok perancangan trajektori hujung ke hujung berdasarkan model dunia boleh ditulis semula

Menggunakan kaedah anggaran terbaik dan teknologi pokok perancangan lanjutan, perancangan yang lebih berkesan dan lebih selamat boleh dicapai

Drive-WM meneroka dua aplikasi model dunia dalam perancangan hujung ke hujung melalui penyelidikan inovatif

1 Menunjukkan keteguhan model dunia dalam menghadapi senario OOD. Melalui eksperimen perbandingan, penulis mendapati bahawa prestasi perancang hujung ke hujung semasa adalah tidak ideal apabila menghadapi situasi OOD.

Pengarang memberikan gambaran berikut Apabila offset sisi sedikit terganggu pada kedudukan awal, perancang hujung-ke-hujung semasa menghadapi kesukaran mengeluarkan laluan yang dirancang yang munasabah.

Perancang hujung ke hujung menghadapi kesukaran mengeluarkan laluan perancangan yang munasabah apabila menghadapi situasi OOD.

Keupayaan penjanaan berkuasa Drive-WM memberikan idea baharu untuk menyelesaikan masalah OOD. Pengarang menggunakan video yang dihasilkan untuk memperhalusi perancang dan belajar daripada data OOD, supaya perancang boleh mempunyai prestasi yang lebih baik apabila menghadapi senario sedemikian

2 Ini menunjukkan bahawa pengenalan penilaian senario masa hadapan adalah sangat penting untuk hujung ke hujung Kesan peningkatan perancangan

Cara membina model penjanaan video berbilang tontonan

Konsistensi ruang penjanaan video berbilang tontonan sentiasa menjadi masalah yang mencabar. Drive-WM memperluaskan keupayaan penjanaan video dengan memperkenalkan pengekodan lapisan temporal, dan mencapai penjanaan video berbilang paparan melalui pemodelan penguraian paparan. Kaedah penjanaan penguraian pandangan ini boleh meningkatkan konsistensi antara tontonan

Reka bentuk model keseluruhan Drive-WM

Penjanaan video berkualiti tinggi dan kebolehkawalan

penjanaan video berbilang tontonan dengan kebolehkawalan yang sangat baik. Ia menyediakan pelbagai pilihan kawalan untuk mengawal penjanaan video berbilang tontonan melalui teks, susun atur pemandangan dan maklumat gerakan Ia juga menyediakan kemungkinan baharu untuk simulator saraf masa hadapan

seperti menggunakan teks untuk menukar Cuaca dan. pencahayaan:

Contohnya, penjanaan pejalan kaki dan suntingan latar depan:

Gunakan kaedah kawalan kelajuan dan arah :

🎜🎜🎜Jana acara yang jarang berlaku, seperti berpusing di persimpangan atau memandu ke rumput tepi 🎜🎜

Kesimpulan

Drive-WM bukan sahaja menunjukkan keupayaan penjanaan video berbilang tontonan yang berkuasa, tetapi juga mendedahkan potensi besar untuk menggabungkan model dunia dengan model pemanduan hujung ke hujung. Kami percaya bahawa pada masa hadapan, model dunia boleh membantu mencapai sistem pemanduan autonomi hujung ke hujung yang lebih selamat, stabil dan lebih dipercayai.

Atas ialah kandungan terperinci Lakukan perjalanan ke masa hadapan, ramalan berbilang paparan pertama + perancangan model dunia pemanduan autonomi tiba. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!