Rumah > Artikel > Peranti teknologi > Semakan! Ringkaskan secara menyeluruh peranan penting model asas dalam mempromosikan pemanduan autonomi
Baru-baru ini, dengan perkembangan dan penemuan teknologi pembelajaran mendalam, model asas berskala besar telah mencapai hasil yang ketara dalam bidang pemprosesan bahasa semula jadi dan hasil penglihatan komputer. Aplikasi model asas dalam pemanduan autonomi juga mempunyai prospek pembangunan yang hebat, yang boleh meningkatkan pemahaman dan penaakulan senario.
Artikel ini terutamanya menggariskan aplikasi model asas dalam bidang pemanduan autonomi, dan berdasarkan aplikasi model asas dalam model pemanduan autonomi, aplikasi model asas dalam peningkatan data, dan aplikasi model dunia dalam model asas kepada pemanduan autonomi Perluas dari segi aspek. Dari segi model pemanduan autonomi, model asas boleh digunakan untuk melaksanakan pelbagai fungsi pemanduan autonomi, seperti persepsi kenderaan, membuat keputusan dan kawalan. Melalui model asas, kenderaan boleh mendapatkan maklumat tentang persekitaran sekeliling dan membuat keputusan dan tindakan kawalan yang sepadan. Dari segi peningkatan data, model asas boleh digunakan untuk meningkatkan data
Pautan artikel ini: https://arxiv.org/pdf/2405.02288
Dalam pemanduan autonomi, model asas bahasa dan penglihatan telah menunjukkan potensi aplikasi yang hebat Dengan meningkatkan pemahaman dan penaakulan model pemanduan autonomi dalam senario pemanduan, pemanduan autonomi seperti manusia boleh dicapai. Rajah di bawah menunjukkan pemahaman adegan pemanduan oleh model asas berdasarkan bahasa dan penglihatan dan alasan memberi arahan berpandukan bahasa dan tingkah laku pemanduan.
Model asas meningkatkan paradigma model pemanduan autonomi
Banyak karya telah membuktikan bahawa bahasa dan ciri visual dapat meningkatkan pemahaman model tentang adegan pemanduan secara berkesan Setelah memperoleh pemahaman persepsi keseluruhan tentang persekitaran semasa, model asas akan Memberi satu siri perintah bahasa, seperti: "Ada lampu merah di hadapan, perlahan dan pandu perlahan", "Ada persimpangan di hadapan, perhatikan pejalan kaki" dan arahan bahasa lain yang berkaitan, supaya pemanduan sendiri kereta boleh melakukan tingkah laku pemanduan akhir mengikut arahan bahasa yang berkaitan.
Dalam beberapa tahun kebelakangan ini, ahli akademik dan industri telah membenamkan pengetahuan bahasa GPT ke dalam proses membuat keputusan pemanduan autonomi. Meningkatkan prestasi pemanduan autonomi dalam bentuk arahan bahasa untuk mempromosikan aplikasi dalam pemanduan autonomi model besar. Memandangkan model besar itu dijangka benar-benar digunakan pada bahagian kenderaan, ia akhirnya perlu mengikut arahan perancangan atau kawalan, dan model asas akhirnya harus membenarkan pemanduan autonomi dari peringkat keadaan tindakan. Sesetengah sarjana telah membuat penerokaan awal, tetapi masih banyak ruang untuk pembangunan. Lebih penting lagi, beberapa sarjana telah meneroka pembinaan model pemanduan autonomi melalui kaedah yang serupa dengan GPT, yang secara langsung mengeluarkan trajektori berdasarkan model bahasa berskala besar dan kemudian melaksanakannya melalui arahan kawalan telah diringkaskan dalam jadual berikut.
Idea teras kandungan berkaitan di atas adalah untuk meningkatkan kebolehtafsiran keputusan pemanduan autonomi, meningkatkan pemahaman dan analisis adegan, dan membimbing perancangan atau kawalan sistem pemanduan autonomi . Sepanjang tempoh masa lalu, terdapat banyak usaha untuk mengoptimumkan rangkaian tulang belakang model pra-latihan dalam pelbagai cara, dan mencapai hasil yang sangat baik. Oleh itu, untuk meringkaskan aplikasi model asas dengan lebih menyeluruh dalam pemanduan autonomi, kami merumuskan dan menyemak rangkaian tulang belakang yang telah dilatih dan penyelidikan yang telah mencapai keputusan yang sangat baik. Rajah di bawah menunjukkan keseluruhan proses pemanduan autonomi hujung ke hujung.
Carta alir sistem pemanduan autonomi hujung ke hujung berdasarkan rangkaian tulang belakang yang telah terlatih
Dalam proses keseluruhan pemanduan autonomi hujung ke hujung, mengekstrak maklumat peringkat rendah daripada data mentah menentukan potensi prestasi model seterusnya pada tahap tertentu Tulang belakang pralatihan yang cemerlang boleh menjadikan model mempunyai keupayaan pembelajaran ciri yang lebih kukuh. Rangkaian konvolusi terlatih seperti ResNet dan VGG ialah rangkaian tulang belakang yang paling banyak digunakan untuk pengekstrakan ciri visual model hujung ke hujung. Rangkaian pra-latihan ini biasanya dilatih menggunakan pengesanan objek atau pembahagian sebagai tugas mengekstrak ciri umum, dan prestasi yang dicapai telah disahkan dalam banyak kerja.
Selain itu, model pemanduan autonomi hujung ke hujung awal terutamanya berdasarkan pelbagai jenis rangkaian saraf konvolusi dan diselesaikan melalui pembelajaran tiruan atau pembelajaran pengukuhan. Beberapa kerja baru-baru ini telah cuba membina sistem pemanduan autonomi hujung ke hujung dengan struktur rangkaian Transformer, dan juga telah mencapai hasil yang agak baik, seperti Transfuser, FusionAD, UniAD dan kerja lain.
Dengan perkembangan lanjut teknologi pembelajaran mendalam dan penambahbaikan dan peningkatan lanjut seni bina rangkaian asas, model asas dengan pra-latihan dan penalaan halus telah menunjukkan prestasi yang semakin berkuasa. Model asas yang diwakili oleh GPT telah membolehkan transformasi model besar daripada peraturan paradigma pembelajaran kepada pendekatan dipacu data. Kepentingan data sebagai pautan utama dalam pembelajaran model tidak boleh diganti. Semasa latihan dan ujian model pemanduan autonomi, sejumlah besar data pemandangan digunakan untuk membolehkan model mempunyai pemahaman yang baik dan keupayaan membuat keputusan untuk pelbagai senario jalan raya dan trafik. Masalah ekor panjang yang dihadapi oleh pemanduan autonomi juga adalah hakikat bahawa terdapat senario tepi yang tidak berkesudahan yang tidak diketahui, yang menjadikan keupayaan generalisasi model seolah-olah tidak pernah mencukupi, mengakibatkan prestasi yang buruk.
Pembesaran data adalah penting untuk meningkatkan keupayaan generalisasi model pemanduan autonomi. Pelaksanaan penambahan data perlu mengambil kira dua aspek
Oleh itu, kerja penyelidikan berkaitan terutamanya menjalankan penyelidikan teknikal yang berkaitan dari dua aspek di atas Satu ialah memperkayakan kandungan data dalam set data sedia ada dan mempertingkatkan ciri Data dalam senario pemanduan. Yang kedua ialah menjana senario pemanduan pelbagai peringkat melalui simulasi.
Set data pemanduan autonomi sedia ada diperoleh terutamanya dengan merakam data penderia dan kemudian melabelkan data. Ciri data yang diperoleh dengan cara ini biasanya tahap sangat rendah, dan magnitud set data juga agak lemah, yang sama sekali tidak mencukupi untuk ruang ciri visual senario pemanduan autonomi. Keupayaan pemahaman semantik, penaakulan dan tafsiran lanjutan bagi model asas yang diwakili oleh model bahasa memberikan idea baharu dan pendekatan teknikal untuk pengayaan dan pengembangan set data pemanduan autonomi. Memperluas set data dengan memanfaatkan keupayaan pemahaman, penaakulan dan tafsiran lanjutan bagi model asas boleh membantu menilai kebolehjelasan dan kawalan sistem pemanduan autonomi dengan lebih baik, dengan itu meningkatkan keselamatan dan kebolehpercayaan sistem pemanduan autonomi.
Adegan pemanduan sangat penting untuk pemanduan autonomi. Untuk mendapatkan data pemandangan pemanduan yang berbeza, hanya bergantung pada penderia kenderaan untuk pengumpulan masa nyata memerlukan kos yang besar, dan sukar untuk mendapatkan data pemandangan yang mencukupi untuk beberapa adegan tepi. Menjana adegan pemanduan yang realistik melalui simulasi telah menarik perhatian ramai penyelidik penyelidikan simulasi trafik terbahagi terutamanya kepada dua kategori: berasaskan peraturan dan dipacu data.
Ringkasan strategi penambahan data yang berbeza
Model dunia dianggap sebagai model kecerdasan buatan yang mengandungi pemahaman atau perwakilan keseluruhan persekitaran di mana ia beroperasi. Model ini mampu mensimulasikan persekitaran untuk membuat ramalan atau keputusan. Dalam literatur terkini, istilah "model dunia" disebut dalam konteks pembelajaran pengukuhan. Konsep ini juga semakin mendapat tarikan dalam aplikasi pemanduan autonomi kerana keupayaannya untuk memahami dan menjelaskan dinamik persekitaran pemanduan. Model dunia sangat berkaitan dengan pembelajaran pengukuhan, pembelajaran tiruan, dan model generatif mendalam. Walau bagaimanapun, menggunakan model dunia dalam pembelajaran pengukuhan dan pembelajaran tiruan biasanya memerlukan data yang dilabel dengan baik, dan kaedah seperti SEM2 dan MILE dilakukan dalam paradigma yang diselia. Pada masa yang sama, terdapat juga percubaan untuk menggabungkan pembelajaran pengukuhan dan pembelajaran tanpa pengawasan berdasarkan batasan data berlabel. Disebabkan hubungan rapat mereka dengan pembelajaran penyeliaan sendiri, model generatif mendalam telah menjadi semakin popular dan banyak kerja telah dicadangkan. Rajah di bawah menunjukkan carta aliran keseluruhan menggunakan model dunia untuk meningkatkan model pemanduan autonomi.
Carta aliran keseluruhan untuk peningkatan model pemanduan autonomi model dunia
Model generatif dalam biasanya termasuk pengekod auto variasi, rangkaian lawan generatif, model aliran autore, dan.
Berdasarkan keupayaan berkuasa model generatif dalam, model generatif dalam digunakan sebagai model dunia untuk belajar memandu senario untuk mempertingkatkan Pemanduan automatik secara beransur-ansur menjadi tumpuan penyelidikan. Seterusnya kita mengkaji penggunaan model generatif dalam sebagai model dunia dalam pemanduan autonomi. Penglihatan adalah salah satu cara paling langsung dan berkesan untuk manusia mendapatkan maklumat tentang dunia, kerana data imej mengandungi maklumat ciri yang sangat kaya. Banyak karya terdahulu telah menyelesaikan tugas penjanaan imej melalui model dunia, menunjukkan bahawa model dunia mempunyai keupayaan pemahaman dan penaakulan yang baik untuk data imej. Secara keseluruhannya, penyelidik berharap untuk mempelajari undang-undang evolusi yang wujud di dunia daripada data imej dan kemudian meramalkan keadaan masa depan. Digabungkan dengan pembelajaran penyeliaan sendiri, model dunia digunakan untuk belajar daripada data imej, melepaskan sepenuhnya keupayaan penaakulan model dan menyediakan arah yang boleh dilaksanakan untuk membina model asas umum dalam domain visual. Rajah di bawah menunjukkan ringkasan beberapa kerja berkaitan menggunakan model dunia. Ringkasan kerja menggunakan model dunia untuk ramalan . Ini ialah seni bina bukan generatif dan diselia sendiri kerana ia tidak meramalkan output secara langsung berdasarkan data input, tetapi mengekod data input dalam ruang abstrak untuk melengkapkan ramalan akhir. Kelebihan kaedah ramalan ini ialah ia tidak memerlukan meramalkan semua maklumat tentang output dan boleh menghapuskan butiran yang tidak berkaitan.
JEPA ialah seni bina pembelajaran yang diselia sendiri berdasarkan model tenaga, yang memerhati dan mempelajari cara dunia berfungsi dan undang-undang yang sangat umum. JEPA juga mempunyai potensi besar dalam pemanduan autonomi dan dijangka menjana senario pemanduan berkualiti tinggi dan strategi pemanduan dengan mempelajari cara pemanduan berfungsi.
Kesimpulan
Ringkasnya, walaupun terdapat banyak cabaran dalam menggunakan model asas kepada pemanduan autonomi, ia mempunyai ruang aplikasi yang sangat luas dan prospek pembangunan. Pada masa hadapan, kami akan terus memerhatikan kemajuan model asas yang digunakan untuk pemanduan autonomi.
Atas ialah kandungan terperinci Semakan! Ringkaskan secara menyeluruh peranan penting model asas dalam mempromosikan pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!