Amalan Cemerlang Pembinaan Semula 3D Pemanduan Pintar di Awan

Pembangunan berterusan teknologi pemanduan pintar mengubah kaedah perjalanan dan sistem pengangkutan kami. Sebagai salah satu teknologi utama, pembinaan semula 3D memainkan peranan penting dalam sistem pemanduan pintar. Di samping algoritma persepsi dan pembinaan semula kereta itu sendiri, pelaksanaan dan pembangunan teknologi pemanduan autonomi memerlukan sokongan keupayaan pembinaan semula awan yang besar. sumber dan keupayaan platform, untuk membantu Pelaksanaan dan aplikasi teknologi berkaitan dalam senario seperti pembinaan semula berskala besar, anotasi automatik dan simulasi realistik pada awan.

Artikel ini memfokuskan pada prinsip dan amalan teknologi pembinaan semula 3D Makmal Multimedia Enjin Gunung Berapi dalam pemandangan dinamik dan statik dan digabungkan dengan teknologi pembinaan semula medan cahaya termaju untuk membantu semua orang lebih memahami dan memahami cara pembinaan semula 3D pintar pada awan berfungsi dalam bidang pintar memandu, untuk membantu pembangunan industri.

1. Cabaran dan kesukaran teknikal

Pembinaan semula adegan memandu memerlukan pembinaan semula tiga dimensi peringkat awan bagi persekitaran jalan Berbanding dengan senario aplikasi teknologi pembinaan semula tiga dimensi tradisional, teknologi pembinaan semula pemandangan memandu mempunyai kesukaran berikut:

1. . Proses pengendalian kenderaan Faktor persekitaran dalam kenderaan adalah kompleks dan tidak terkawal Cuaca yang berbeza, pencahayaan, kelajuan kenderaan, keadaan jalan raya, dll. semuanya akan menjejaskan data yang dikumpul oleh penderia on-board, yang menimbulkan cabaran kepada keteguhan pembinaan semula. teknologi.
2. Kemerosotan ciri dan kehilangan tekstur sering berlaku dalam pemandangan jalan Sebagai contoh, kamera memperoleh maklumat imej yang tidak kaya dengan ciri visual, atau lidar memperoleh maklumat struktur pemandangan dengan persamaan yang tinggi Pada masa yang sama, permukaan jalan adalah kunci kepada pembinaan semula Salah satu faktor ialah warna tunggal dan tidak mempunyai maklumat tekstur yang mencukupi, yang meletakkan keperluan yang lebih tinggi pada teknologi pembinaan semula.
3. Terdapat sejumlah besar penderia yang dipasang pada kenderaan termasuk kamera, lidar, radar gelombang milimeter, navigasi inersia, sistem kedudukan GPS, meter kelajuan roda, dsb. Cara menggabungkan data daripada berbilang penderia untuk mendapatkan hasil pembinaan semula yang lebih tepat. ? Teknologi memberikan cabaran.
4. Kehadiran objek dinamik seperti kenderaan bergerak, kenderaan tidak bermotor dan pejalan kaki di jalan raya akan membawa cabaran kepada algoritma pembinaan semula tradisional Bagaimana untuk menghapuskan objek dinamik yang mengganggu pembinaan semula pemandangan statik, dan menganggarkan kedudukan, saiz dan kelajuan objek dinamik pada masa yang sama, yang juga merupakan salah satu kesukaran projek.

2. Pengenalan kepada Teknologi Pembinaan Semula Pemandangan Pemanduan

Algoritma pembinaan semula dalam bidang pemanduan autonomi biasanya menggunakan lidar dan kamera sebagai teknologi utama, ditambah dengan GPS dan navigasi inersia. LiDAR secara langsung boleh mendapatkan maklumat julat berketepatan tinggi dan dengan cepat mendapatkan struktur pemandangan Melalui penentukuran sambungan pra-lidar-kamera, imej yang diperoleh oleh kamera boleh memberikan maklumat warna, semantik dan lain-lain kepada awan titik laser. Pada masa yang sama, GPS dan navigasi inersia boleh membantu dalam kedudukan dan mengurangkan hanyut yang disebabkan oleh kemerosotan ciri semasa proses pembinaan semula. Walau bagaimanapun, disebabkan oleh harga lidar berbilang talian yang tinggi, ia biasanya digunakan dalam kenderaan kejuruteraan dan sukar untuk digunakan secara besar-besaran dalam kenderaan yang dikeluarkan secara besar-besaran.

Dalam hal ini, Makmal Multimedia Enjin Gunung Berapi telah membangunkan satu set teknologi pembinaan semula adegan pemanduan visual semata-mata, termasuk pembinaan semula pemandangan statik, pembinaan semula objek dinamik dan teknologi pembinaan semula medan sinaran saraf, yang boleh membezakan objek dinamik dan statik di tempat kejadian dan memulihkan Awan titik padat tempat kejadian menyerlahkan elemen utama seperti permukaan jalan, papan tanda dan lampu isyarat dengan berkesan boleh menganggarkan kedudukan, saiz, orientasi dan kelajuan objek bergerak untuk anotasi 4D yang seterusnya; bina semula adegan statik Pada asasnya, medan sinaran saraf digunakan untuk membina semula dan menghasilkan semula pemandangan untuk mencapai perayauan perspektif bebas, yang boleh digunakan untuk penyuntingan pemandangan dan rendering simulasi. Penyelesaian teknikal ini tidak bergantung pada lidar dan boleh mencapai ralat relatif peringkat desimeter, mencapai kesan pembinaan semula hampir dengan lidar dengan kos perkakasan yang minimum.

2.1 Teknologi pembinaan semula pemandangan statik: menghapuskan gangguan dinamik dan memulihkan pemandangan statik

Teknologi pembinaan semula visual adalah berdasarkan geometri berbilang pandangan dan memerlukan pemandangan atau objek yang akan dibina semula mempunyai ketekalan antara bingkai, iaitu, dalam bingkai imej yang berbeza Dalam keadaan pegun, objek dinamik perlu dihapuskan semasa proses pembinaan semula. Mengikut kepentingan elemen yang berbeza dalam adegan, awan titik yang tidak berkaitan perlu dialih keluar dari awan titik padat, manakala beberapa awan titik elemen utama dikekalkan Oleh itu, imej perlu dibahagikan secara semantik terlebih dahulu. Dalam hal ini, Enjin Gunung Berapi Makmal Multimedia menggabungkan teknologi AI dan prinsip asas geometri berbilang pandangan untuk membina rangka kerja algoritma pembinaan semula visual yang teguh, tepat dan lengkap. Proses pembinaan semula merangkumi tiga langkah utama: prapemprosesan imej, pembinaan semula jarang dan pembinaan semula padat.

Kamera yang dipasang pada kenderaan sedang bergerak semasa penggambaran Disebabkan oleh masa pendedahan, gerakan kabur yang serius akan muncul dalam imej yang dikumpul apabila kelajuan kenderaan meningkat. Di samping itu, untuk menjimatkan lebar jalur dan ruang storan, imej akan dimampatkan secara tidak dapat dipulihkan semasa proses penghantaran, menyebabkan kemerosotan kualiti imej. Untuk tujuan ini, Makmal Multimedia Enjin Gunung Berapi menggunakan rangkaian neural hujung ke hujung untuk menyahkaburkan imej, yang boleh meningkatkan kualiti imej sambil menekan kabur gerakan. Perbandingan sebelum dan selepas nyahkabur ditunjukkan dalam rajah di bawah.

Sebelum nyahkabur (kiri) Selepas nyahkabur (kanan)

Untuk membezakan objek dinamik, Makmal Multimedia Enjin Volcano menggunakan teknologi pengecaman objek dinamik berdasarkan aliran optik objek dinamik . Dalam proses pembinaan semula pemandangan statik berikutnya, titik ciri yang jatuh pada kawasan objek dinamik akan dihapuskan, dan hanya adegan dan objek statik akan dikekalkan.

Aliran optik (kiri) Objek bergerak (kanan)

Semasa proses pembinaan semula yang jarang, kedudukan, orientasi dan awan titik pemandangan kamera perlu dikira secara serentak. (Algoritma yang biasa digunakan termasuk SLAM penyetempatan dan pemetaan) dan algoritma SFM (Struktur dari Gerakan, singkatannya SfM). Algoritma SFM boleh mencapai ketepatan pembinaan semula yang lebih tinggi tanpa memerlukan prestasi masa nyata. Walau bagaimanapun, algoritma SFM tradisional biasanya menganggap setiap kamera sebagai kamera bebas, dan kenderaan biasanya mempunyai berbilang kamera yang disusun dalam arah yang berbeza di hadapan, belakang, kiri dan kanan, dan kedudukan relatif antara kamera ini sebenarnya tetap (mengabaikan kenderaan ). perubahan halus yang disebabkan oleh getaran). Jika kekangan kedudukan relatif antara kamera diabaikan, ralat pose yang dikira bagi setiap kamera akan menjadi agak besar. Di samping itu, apabila oklusi teruk, pose kamera individu akan sukar untuk dikira. Dalam hal ini, Makmal Multimedia Enjin Volcano membangunkan sendiri algoritma SFM berdasarkan keseluruhan kumpulan kamera, yang boleh menggunakan kekangan pose relatif terdahulu antara kamera untuk mengira pose kumpulan kamera secara keseluruhan, dan juga menggunakan GPS ditambah inersia. navigasi. Gabungan hasil penentududukan untuk mengekang kedudukan tengah kumpulan kamera dengan berkesan boleh meningkatkan kadar kejayaan dan ketepatan anggaran pose, memperbaiki ketidakkonsistenan awan titik antara kamera yang berbeza dan mengurangkan lapisan awan titik.

SFM tradisional (kiri) Kumpulan kamera SFM (kanan)

Disebabkan oleh warna tunggal dan kekurangan tekstur pada tanah, sukar untuk pembinaan semula visual tradisional untuk memulihkan tanah yang lengkap, tetapi terdapat garisan lorong, Elemen utama seperti anak panah, teks/logo, dsb. Oleh itu, Makmal Multimedia Enjin Gunung Berapi menggunakan permukaan kuadratik untuk menyesuaikan dengan tanah untuk membantu dalam anggaran kedalaman dan gabungan awan titik kawasan tanah. Berbanding dengan pemasangan satah, permukaan kuadratik lebih sesuai untuk pemandangan jalan sebenar, kerana permukaan jalan sebenar selalunya bukan satah yang ideal. Berikut ialah perbandingan kesan penggunaan persamaan satah dan persamaan permukaan kuadratik agar sesuai dengan tanah.

Persamaan satah (kiri) Persamaan permukaan kuadratik (kanan)

Menganggap awan titik laser sebagai nilai sebenar, dan menindih hasil pembinaan semula visual dengannya, ketepatan awan titik yang dibina semula boleh diukur secara intuitif . Seperti yang anda boleh lihat daripada rajah di bawah, kesesuaian antara awan titik yang dibina semula dan awan titik sebenar adalah sangat tinggi Selepas pengukuran, ralat relatif hasil pembinaan semula adalah kira-kira 15cm.

Hasil pembinaan semula Makmal Multimedia Enjin Gunung Berapi (warna) dan awan titik sebenar (putih)

Berikut ialah perbandingan kesan algoritma pembinaan semula visual Makmal Multimedia Enjin Gunung Berapi dan perisian pembinaan semula komersil arus perdana. Dapat dilihat bahawa berbanding dengan perisian komersial, algoritma Makmal Multimedia Enjin Gunung Berapi yang dibangunkan sendiri mempunyai kesan pembinaan semula yang lebih baik dan lebih lengkap Papan tanda jalan, lampu isyarat, tiang telefon, serta garisan lorong dan anak panah di jalan raya di tempat kejadian mempunyai tahap pemulihan yang sangat tinggi Walau bagaimanapun, awan titik yang dibina semula perisian komersial adalah sangat jarang, dan permukaan jalan hilang di kawasan yang luas.

Perisian komersial arus perdana (kiri) Algoritma Makmal Multimedia Enjin Gunung Berapi (kanan)

2.2 Teknologi pembinaan semula dinamik:

Sangat sukar untuk menganotasi objek 3D pada imej dan memerlukan bantuan awan titik Apabila kenderaan hanya mempunyai penderia visual, adalah sangat sukar untuk mendapatkan awan titik lengkap objek sasaran di tempat kejadian. Khusus untuk objek dinamik, awan titik padat tidak boleh diperoleh menggunakan teknik pembinaan semula 3D tradisional. Untuk menyediakan ekspresi objek bergerak dan menyampaikan anotasi 4D, kotak sempadan 3D (selepas ini dirujuk sebagai Bbox 3D) digunakan untuk mewakili objek dinamik, dan postur Bbox 3D, saiz dan kelajuan objek dinamik dalam adegan pada setiap momen diperoleh melalui algoritma pembinaan semula dinamik yang dibangunkan sendiri dan sebagainya, dengan itu melengkapkan keupayaan pembinaan semula objek dinamik.

dynamic Reconstruction Pipeline

Untuk setiap bingkai imej yang dikumpulkan oleh kenderaan, mula -mula mengekstrak sasaran dinamik di tempat kejadian dan menghasilkan cadangan awal bbox 3D. pose kamera Anggarkan bbox 3D yang sepadan secara terus menggunakan pengesanan sasaran 3D. Kedua-dua kaedah boleh dipilih secara fleksibel untuk pengesanan 2D yang berbeza mempunyai generalisasi yang baik, dan pengesanan 3D boleh memperoleh nilai awal yang lebih baik. Pada masa yang sama, titik ciri di dalam kawasan dinamik imej diekstrak. Selepas memperoleh cadangan bbox 3D awal dan titik ciri bagi imej bingkai tunggal, wujudkan korelasi data antara berbilang bingkai: wujudkan padanan objek melalui algoritma penjejakan berbilang sasaran yang dibangunkan sendiri dan padankan ciri imej melalui teknologi padanan ciri. Selepas memperoleh perhubungan padanan, bingkai imej dengan perhubungan paparan biasa dibuat sebagai peta setempat dan masalah pengoptimuman dibina untuk menyelesaikan anggaran bbox sasaran yang konsisten secara global. Khususnya, melalui padanan titik ciri dan teknologi triangulasi dinamik, titik 3D dinamik dipulihkan gerakan kenderaan dimodelkan, dan pemerhatian antara objek, titik 3D dan kamera dioptimumkan secara bersama untuk mendapatkan bbox objek dinamik 3D yang optimum.

2d dijana 3d (saat dari kiri) contoh pengesanan sasaran 3d

2.3 NeRFperspektif

percuma rangkaian saraf untuk pembinaan semula tersirat, menggunakan The model pemaparan boleh beza mempelajari cara untuk memaparkan imej daripada perspektif baharu daripada pandangan sedia ada, dengan itu mencapai pemaparan imej fotorealistik, iaitu teknologi Medan Sinaran Neural (NeRF). Pada masa yang sama, pembinaan semula tersirat mempunyai ciri-ciri yang boleh diedit dan menanyakan ruang berterusan, dan boleh digunakan untuk tugas seperti anotasi automatik dan pembinaan data simulasi dalam senario pemanduan autonomi. Pembinaan semula pemandangan menggunakan teknologi NeRF adalah sangat berharga.

Makmal Multimedia Enjin Gunung Berapi menggabungkan teknologi medan sinaran saraf dan teknologi pemodelan pemandangan besar. Dalam amalan khusus, data diproses terlebih dahulu objek dinamik dalam tempat kejadian akan menyebabkan artifak dalam pembinaan semula NeRF Dengan bantuan pembahagian dinamik dan statik yang dibangunkan sendiri, pengesanan bayang-bayang dan algoritma lain, kawasan dalam adegan yang tidak konsisten dengan. geometri diekstrak dan topeng dihasilkan Pada masa yang sama, algoritma lukisan video digunakan untuk membaiki kawasan yang dibuang. Dengan bantuan keupayaan pembinaan semula 3D yang dibangunkan sendiri, pembinaan semula geometri berketepatan tinggi tempat kejadian dilakukan, termasuk anggaran parameter kamera dan penjanaan awan titik yang jarang dan padat. Di samping itu, senario dibahagikan untuk mengurangkan penggunaan sumber latihan tunggal, dan latihan dan penyelenggaraan yang diedarkan boleh dilakukan. Semasa proses latihan medan sinaran saraf, untuk adegan tanpa sempadan luar yang besar, pasukan menggunakan beberapa strategi pengoptimuman untuk meningkatkan kesan penjanaan perspektif baharu dalam adegan ini, seperti meningkatkan ketepatan pembinaan semula dengan mengoptimumkan pose semasa latihan secara serentak, dan berdasarkan tahap pengekodan cincang. Ekspresi meningkatkan kelajuan latihan model, pengekodan penampilan digunakan untuk meningkatkan konsistensi penampilan adegan yang dikumpulkan pada masa yang berbeza, dan maklumat kedalaman padat mvs digunakan untuk meningkatkan ketepatan geometri. Pasukan itu bekerjasama dengan HaoMo Zhixing untuk menyelesaikan pemerolehan saluran tunggal dan pembinaan semula NeRF gabungan berbilang saluran Keputusan yang berkaitan telah dikeluarkan pada Hari AI Haomo.

Pemusnahan objek/bayangan dinamik, pengisian

Atas ialah kandungan terperinci Amalan Cemerlang Pembinaan Semula 3D Pemanduan Pintar di Awan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!