Semakan! Ringkaskan secara menyeluruh peranan penting model asas dalam mempromosikan pemanduan autonomi

Ditulis di atas & pemahaman peribadi penulis

Baru-baru ini, dengan perkembangan dan penemuan teknologi pembelajaran mendalam, model asas berskala besar telah mencapai hasil yang ketara dalam bidang pemprosesan bahasa semula jadi dan hasil penglihatan komputer. Aplikasi model asas dalam pemanduan autonomi juga mempunyai prospek pembangunan yang hebat, yang boleh meningkatkan pemahaman dan penaakulan senario.

• Melalui pra-latihan tentang bahasa yang kaya dan data visual, model asas boleh memahami dan mentafsir pelbagai elemen dalam senario pemanduan autonomi dan melakukan penaakulan, menyediakan arahan bahasa dan tindakan untuk memandu membuat keputusan dan perancangan.
• Model asas boleh mencapai penambahan data berdasarkan pemahaman senario pemanduan, dan digunakan untuk menyediakan senario jarang yang boleh dilaksanakan dalam pengedaran ekor panjang yang tidak mungkin ditemui semasa pemanduan biasa dan pengumpulan data untuk mencapai ketepatan sistem pemanduan autonomi yang lebih baik dan tujuan kebolehpercayaan.
• Satu lagi senario untuk menggunakan model asas ialah model dunia, yang menunjukkan keupayaan untuk memahami undang-undang fizikal dan perkara yang dinamik. Dengan menggunakan paradigma pembelajaran yang diselia sendiri untuk belajar daripada data besar-besaran, model dunia boleh menjana pemandangan pemanduan yang tidak kelihatan tetapi boleh dipercayai, menggalakkan peningkatan ramalan tingkah laku objek dinamik dan proses latihan luar talian bagi strategi pemanduan.

Artikel ini terutamanya menggariskan aplikasi model asas dalam bidang pemanduan autonomi, dan berdasarkan aplikasi model asas dalam model pemanduan autonomi, aplikasi model asas dalam peningkatan data, dan aplikasi model dunia dalam model asas kepada pemanduan autonomi Perluas dari segi aspek. Dari segi model pemanduan autonomi, model asas boleh digunakan untuk melaksanakan pelbagai fungsi pemanduan autonomi, seperti persepsi kenderaan, membuat keputusan dan kawalan. Melalui model asas, kenderaan boleh mendapatkan maklumat tentang persekitaran sekeliling dan membuat keputusan dan tindakan kawalan yang sepadan. Dari segi peningkatan data, model asas boleh digunakan untuk meningkatkan data

Pautan artikel ini: https://arxiv.org/pdf/2405.02288

Model pemanduan autonomi

Pemanduan seperti manusia berdasarkan bahasa dan model asas penglihatan

Dalam pemanduan autonomi, model asas bahasa dan penglihatan telah menunjukkan potensi aplikasi yang hebat Dengan meningkatkan pemahaman dan penaakulan model pemanduan autonomi dalam senario pemanduan, pemanduan autonomi seperti manusia boleh dicapai. Rajah di bawah menunjukkan pemahaman adegan pemanduan oleh model asas berdasarkan bahasa dan penglihatan dan alasan memberi arahan berpandukan bahasa dan tingkah laku pemanduan.

Model asas meningkatkan paradigma model pemanduan autonomi

Banyak karya telah membuktikan bahawa bahasa dan ciri visual dapat meningkatkan pemahaman model tentang adegan pemanduan secara berkesan Setelah memperoleh pemahaman persepsi keseluruhan tentang persekitaran semasa, model asas akan Memberi satu siri perintah bahasa, seperti: "Ada lampu merah di hadapan, perlahan dan pandu perlahan", "Ada persimpangan di hadapan, perhatikan pejalan kaki" dan arahan bahasa lain yang berkaitan, supaya pemanduan sendiri kereta boleh melakukan tingkah laku pemanduan akhir mengikut arahan bahasa yang berkaitan.

Dalam beberapa tahun kebelakangan ini, ahli akademik dan industri telah membenamkan pengetahuan bahasa GPT ke dalam proses membuat keputusan pemanduan autonomi. Meningkatkan prestasi pemanduan autonomi dalam bentuk arahan bahasa untuk mempromosikan aplikasi dalam pemanduan autonomi model besar. Memandangkan model besar itu dijangka benar-benar digunakan pada bahagian kenderaan, ia akhirnya perlu mengikut arahan perancangan atau kawalan, dan model asas akhirnya harus membenarkan pemanduan autonomi dari peringkat keadaan tindakan. Sesetengah sarjana telah membuat penerokaan awal, tetapi masih banyak ruang untuk pembangunan. Lebih penting lagi, beberapa sarjana telah meneroka pembinaan model pemanduan autonomi melalui kaedah yang serupa dengan GPT, yang secara langsung mengeluarkan trajektori berdasarkan model bahasa berskala besar dan kemudian melaksanakannya melalui arahan kawalan telah diringkaskan dalam jadual berikut.

Gunakan rangkaian tulang belakang terlatih untuk pemanduan autonomi hujung ke hujung

Idea teras kandungan berkaitan di atas adalah untuk meningkatkan kebolehtafsiran keputusan pemanduan autonomi, meningkatkan pemahaman dan analisis adegan, dan membimbing perancangan atau kawalan sistem pemanduan autonomi . Sepanjang tempoh masa lalu, terdapat banyak usaha untuk mengoptimumkan rangkaian tulang belakang model pra-latihan dalam pelbagai cara, dan mencapai hasil yang sangat baik. Oleh itu, untuk meringkaskan aplikasi model asas dengan lebih menyeluruh dalam pemanduan autonomi, kami merumuskan dan menyemak rangkaian tulang belakang yang telah dilatih dan penyelidikan yang telah mencapai keputusan yang sangat baik. Rajah di bawah menunjukkan keseluruhan proses pemanduan autonomi hujung ke hujung.

Carta alir sistem pemanduan autonomi hujung ke hujung berdasarkan rangkaian tulang belakang yang telah terlatih

Dalam proses keseluruhan pemanduan autonomi hujung ke hujung, mengekstrak maklumat peringkat rendah daripada data mentah menentukan potensi prestasi model seterusnya pada tahap tertentu Tulang belakang pralatihan yang cemerlang boleh menjadikan model mempunyai keupayaan pembelajaran ciri yang lebih kukuh. Rangkaian konvolusi terlatih seperti ResNet dan VGG ialah rangkaian tulang belakang yang paling banyak digunakan untuk pengekstrakan ciri visual model hujung ke hujung. Rangkaian pra-latihan ini biasanya dilatih menggunakan pengesanan objek atau pembahagian sebagai tugas mengekstrak ciri umum, dan prestasi yang dicapai telah disahkan dalam banyak kerja.

Selain itu, model pemanduan autonomi hujung ke hujung awal terutamanya berdasarkan pelbagai jenis rangkaian saraf konvolusi dan diselesaikan melalui pembelajaran tiruan atau pembelajaran pengukuhan. Beberapa kerja baru-baru ini telah cuba membina sistem pemanduan autonomi hujung ke hujung dengan struktur rangkaian Transformer, dan juga telah mencapai hasil yang agak baik, seperti Transfuser, FusionAD, UniAD dan kerja lain.

Peningkatan Data

Dengan perkembangan lanjut teknologi pembelajaran mendalam dan penambahbaikan dan peningkatan lanjut seni bina rangkaian asas, model asas dengan pra-latihan dan penalaan halus telah menunjukkan prestasi yang semakin berkuasa. Model asas yang diwakili oleh GPT telah membolehkan transformasi model besar daripada peraturan paradigma pembelajaran kepada pendekatan dipacu data. Kepentingan data sebagai pautan utama dalam pembelajaran model tidak boleh diganti. Semasa latihan dan ujian model pemanduan autonomi, sejumlah besar data pemandangan digunakan untuk membolehkan model mempunyai pemahaman yang baik dan keupayaan membuat keputusan untuk pelbagai senario jalan raya dan trafik. Masalah ekor panjang yang dihadapi oleh pemanduan autonomi juga adalah hakikat bahawa terdapat senario tepi yang tidak berkesudahan yang tidak diketahui, yang menjadikan keupayaan generalisasi model seolah-olah tidak pernah mencukupi, mengakibatkan prestasi yang buruk.

Pembesaran data adalah penting untuk meningkatkan keupayaan generalisasi model pemanduan autonomi. Pelaksanaan penambahan data perlu mengambil kira dua aspek

• Di satu pihak: cara mendapatkan data berskala besar supaya data yang diberikan kepada model pemanduan autonomi cukup pelbagai dan meluas
• Sebaliknya: cara mendapatkan seberapa banyak data yang mungkin Data berkualiti tinggi, digunakan untuk melatih dan menguji model pemanduan autonomi, adalah tepat dan boleh dipercayai

Oleh itu, kerja penyelidikan berkaitan terutamanya menjalankan penyelidikan teknikal yang berkaitan dari dua aspek di atas Satu ialah memperkayakan kandungan data dalam set data sedia ada dan mempertingkatkan ciri Data dalam senario pemanduan. Yang kedua ialah menjana senario pemanduan pelbagai peringkat melalui simulasi.

Melanjutkan set data pemanduan autonomi

Set data pemanduan autonomi sedia ada diperoleh terutamanya dengan merakam data penderia dan kemudian melabelkan data. Ciri data yang diperoleh dengan cara ini biasanya tahap sangat rendah, dan magnitud set data juga agak lemah, yang sama sekali tidak mencukupi untuk ruang ciri visual senario pemanduan autonomi. Keupayaan pemahaman semantik, penaakulan dan tafsiran lanjutan bagi model asas yang diwakili oleh model bahasa memberikan idea baharu dan pendekatan teknikal untuk pengayaan dan pengembangan set data pemanduan autonomi. Memperluas set data dengan memanfaatkan keupayaan pemahaman, penaakulan dan tafsiran lanjutan bagi model asas boleh membantu menilai kebolehjelasan dan kawalan sistem pemanduan autonomi dengan lebih baik, dengan itu meningkatkan keselamatan dan kebolehpercayaan sistem pemanduan autonomi.

Jana adegan pemanduan

Adegan pemanduan sangat penting untuk pemanduan autonomi. Untuk mendapatkan data pemandangan pemanduan yang berbeza, hanya bergantung pada penderia kenderaan untuk pengumpulan masa nyata memerlukan kos yang besar, dan sukar untuk mendapatkan data pemandangan yang mencukupi untuk beberapa adegan tepi. Menjana adegan pemanduan yang realistik melalui simulasi telah menarik perhatian ramai penyelidik penyelidikan simulasi trafik terbahagi terutamanya kepada dua kategori: berasaskan peraturan dan dipacu data.

• Pendekatan berasaskan peraturan: Gunakan peraturan yang dipratentukan, yang selalunya tidak mencukupi untuk menerangkan senario pemanduan yang kompleks, dan senario pemanduan simulasi adalah lebih mudah dan lebih umum
• Pendekatan dipacu data: Gunakan data pemanduan untuk melatih model, Model ini boleh terus belajar dan menyesuaikan diri daripadanya. Walau bagaimanapun, kaedah berasaskan data biasanya memerlukan sejumlah besar data berlabel untuk latihan, yang menghalang perkembangan selanjutnya simulasi trafik Dengan perkembangan teknologi, kaedah penjanaan data semasa telah berubah secara beransur-ansur daripada kaedah berasaskan peraturan kepada data-. kaedah didorong. Dengan mensimulasikan senario pemanduan dengan cekap dan tepat, termasuk pelbagai situasi yang kompleks dan berbahaya, sejumlah besar data latihan disediakan untuk pembelajaran model, yang boleh meningkatkan keupayaan generalisasi sistem pemanduan autonomi dengan berkesan. Pada masa yang sama, senario pemanduan yang dijana juga boleh digunakan untuk menilai sistem dan algoritma pemanduan autonomi yang berbeza untuk menguji dan mengesahkan prestasi sistem. Jadual di bawah ialah ringkasan strategi penambahan data yang berbeza.

Ringkasan strategi penambahan data yang berbeza

Model Dunia

Model dunia dianggap sebagai model kecerdasan buatan yang mengandungi pemahaman atau perwakilan keseluruhan persekitaran di mana ia beroperasi. Model ini mampu mensimulasikan persekitaran untuk membuat ramalan atau keputusan. Dalam literatur terkini, istilah "model dunia" disebut dalam konteks pembelajaran pengukuhan. Konsep ini juga semakin mendapat tarikan dalam aplikasi pemanduan autonomi kerana keupayaannya untuk memahami dan menjelaskan dinamik persekitaran pemanduan. Model dunia sangat berkaitan dengan pembelajaran pengukuhan, pembelajaran tiruan, dan model generatif mendalam. Walau bagaimanapun, menggunakan model dunia dalam pembelajaran pengukuhan dan pembelajaran tiruan biasanya memerlukan data yang dilabel dengan baik, dan kaedah seperti SEM2 dan MILE dilakukan dalam paradigma yang diselia. Pada masa yang sama, terdapat juga percubaan untuk menggabungkan pembelajaran pengukuhan dan pembelajaran tanpa pengawasan berdasarkan batasan data berlabel. Disebabkan hubungan rapat mereka dengan pembelajaran penyeliaan sendiri, model generatif mendalam telah menjadi semakin popular dan banyak kerja telah dicadangkan. Rajah di bawah menunjukkan carta aliran keseluruhan menggunakan model dunia untuk meningkatkan model pemanduan autonomi.

Carta aliran keseluruhan untuk peningkatan model pemanduan autonomi model dunia

Model generatif dalam

Model generatif dalam biasanya termasuk pengekod auto variasi, rangkaian lawan generatif, model aliran autore, dan.

• Pengekod auto variasi menggabungkan idea pengekod auto dan model grafik kebarangkalian untuk mempelajari struktur asas data dan menjana sampel baharu
• Rangkaian musuh generatif terdiri daripada dua rangkaian saraf, penjana dan diskriminator, yang menggunakan latihan lawan dan penambahbaikan. satu sama lain, dan akhirnya mencapai matlamat untuk menjana sampel sebenar
• Model aliran menukar pengedaran terdahulu yang mudah kepada pengedaran posterior yang kompleks melalui satu siri transformasi boleh balik untuk menjana sampel data yang serupa
• Model autoregresif ialah sejenis jujukan Analisis kaedah, berdasarkan autokorelasi antara data jujukan, menerangkan hubungan antara pemerhatian semasa dan pemerhatian lepas Anggaran parameter model biasanya dilakukan menggunakan kaedah kuasa dua terkecil dan anggaran kemungkinan maksimum. Model resapan ialah model autoregresif biasa yang mempelajari proses penyahnosian secara berperingkat daripada data hingar tulen. Disebabkan prestasi generatifnya yang berkuasa, model resapan ialah model SOTA baharu di kalangan model generatif dalam semasa

Kaedah generatif

Berdasarkan keupayaan berkuasa model generatif dalam, model generatif dalam digunakan sebagai model dunia untuk belajar memandu senario untuk mempertingkatkan Pemanduan automatik secara beransur-ansur menjadi tumpuan penyelidikan. Seterusnya kita mengkaji penggunaan model generatif dalam sebagai model dunia dalam pemanduan autonomi. Penglihatan adalah salah satu cara paling langsung dan berkesan untuk manusia mendapatkan maklumat tentang dunia, kerana data imej mengandungi maklumat ciri yang sangat kaya. Banyak karya terdahulu telah menyelesaikan tugas penjanaan imej melalui model dunia, menunjukkan bahawa model dunia mempunyai keupayaan pemahaman dan penaakulan yang baik untuk data imej. Secara keseluruhannya, penyelidik berharap untuk mempelajari undang-undang evolusi yang wujud di dunia daripada data imej dan kemudian meramalkan keadaan masa depan. Digabungkan dengan pembelajaran penyeliaan sendiri, model dunia digunakan untuk belajar daripada data imej, melepaskan sepenuhnya keupayaan penaakulan model dan menyediakan arah yang boleh dilaksanakan untuk membina model asas umum dalam domain visual. Rajah di bawah menunjukkan ringkasan beberapa kerja berkaitan menggunakan model dunia. Ringkasan kerja menggunakan model dunia untuk ramalan . Ini ialah seni bina bukan generatif dan diselia sendiri kerana ia tidak meramalkan output secara langsung berdasarkan data input, tetapi mengekod data input dalam ruang abstrak untuk melengkapkan ramalan akhir. Kelebihan kaedah ramalan ini ialah ia tidak memerlukan meramalkan semua maklumat tentang output dan boleh menghapuskan butiran yang tidak berkaitan.

JEPA ialah seni bina pembelajaran yang diselia sendiri berdasarkan model tenaga, yang memerhati dan mempelajari cara dunia berfungsi dan undang-undang yang sangat umum. JEPA juga mempunyai potensi besar dalam pemanduan autonomi dan dijangka menjana senario pemanduan berkualiti tinggi dan strategi pemanduan dengan mempelajari cara pemanduan berfungsi.

Kesimpulan

Artikel ini memberikan gambaran menyeluruh tentang peranan penting model asas dalam aplikasi pemanduan autonomi. Berdasarkan ringkasan dan penemuan kerja penyelidikan berkaitan yang ditinjau dalam artikel ini, hala tuju lain yang patut diterokai selanjutnya ialah cara mereka bentuk seni bina rangkaian yang berkesan untuk pembelajaran penyeliaan kendiri. Pembelajaran penyeliaan kendiri secara berkesan boleh menembusi batasan anotasi data, membolehkan model mempelajari data secara besar-besaran dan melepaskan sepenuhnya keupayaan penaakulan model. Jika model asas pemanduan autonomi boleh dilatih menggunakan skala data pemandangan pemanduan yang berbeza di bawah paradigma pembelajaran yang diselia sendiri, keupayaan generalisasinya dijangka akan dipertingkatkan dengan banyak. Kemajuan sedemikian mungkin membolehkan model asas yang lebih umum.

Ringkasnya, walaupun terdapat banyak cabaran dalam menggunakan model asas kepada pemanduan autonomi, ia mempunyai ruang aplikasi yang sangat luas dan prospek pembangunan. Pada masa hadapan, kami akan terus memerhatikan kemajuan model asas yang digunakan untuk pemanduan autonomi.

Atas ialah kandungan terperinci Semakan! Ringkaskan secara menyeluruh peranan penting model asas dalam mempromosikan pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!