Gaussian-LIC: Sistem gabungan 3DGS-SLAM berbilang sensor pertama (Universiti Zhejiang & TUM)

Gabungan berbilang penderia dan 3DGS

Ungkapan tersirat "keupayaan masa nyata yang diperlukan untuk tugas SLAM intensif secara pengiraan berdasarkan pensampelan dalam ruang 3D" memerlukan kaedah+SLAM berasaskan NeRF. 3DGS menonjol kerana kelajuan pemaparan yang pantas dan kualiti visual yang unggul. Sebagai representasi yang jelas dan boleh ditafsir, 3DGS menjadikan pengeditan adegan menjadi mudah dan memudahkan pelaksanaan pelbagai tugas hiliran.

Sistem SLAM berasaskan medan sinaran sedia ada diuji terutamanya dalam persekitaran dalaman berskala kecil yang diterangi dengan baik dan memperoleh hasil yang memuaskan menggunakan input RGB-D atau RGB berjujukan. Kesukaran akan dihadapi apabila kaedah ini diperluaskan kepada pemandangan luar yang tidak terkawal berskala besar yang mencabar, seperti keadaan pencahayaan yang mencabar, latar belakang yang bersepah dan pergerakan diri yang sangat dinamik.

Gunakan Gaussian-LIC+ untuk menggabungkan data daripada berbilang penderia, termasuk lidar 3D, IMU dan kamera (dipanggil ALIC), dalam pemandangan luar yang tidak terkawal

• 3DGS pertama berdasarkan gabungan kamera inersia lidar -Sistem SLAM, mencapai penjejakan sikap yang sangat tepat dan pembinaan peta dalam talian yang realistik.
• Gunakan awan titik lidar berwarna secara berurutan seperti sebelum ini untuk membina semula peta Gaussian secara dalam talian. Gunakan siri strategi yang direka dengan teliti untuk mengembangkan peta Gaussian secara beransur-ansur dan mengawal ketumpatannya secara adaptif untuk mencapai kecekapan dan ketepatan yang tinggi.
• Terbukti secara meluas dalam pemandangan dalaman dan luaran, menunjukkan prestasi terkini dalam penghasilan peta fotorealistik. Menunjukkan keteguhan dalam keadaan yang teruk, termasuk gerakan yang sangat dinamik, pencahayaan rendah dan kekurangan geometri dan tekstur visual.

Kaedah khusus

Seperti yang ditunjukkan dalam Rajah 1 ialah proses sistem LIC-SLAM. .

Gaussian 2D yang diperolehi oleh unjuran mempengaruhi piksel melalui persamaan pemberat kelegapan:

Memaparkan imej kontur untuk menentukan sama ada piksel mengandungi maklumat yang mencukupi daripada peta Gaussian:

-IMU-Camera Odometer

Odometer menggunakan kerja terdahulu Coco-LIC sebagai hujung hadapan penjejakan, sistem odometri kamera inersia lidar berganding masa berterusan. Dengan menyepadukan tiga penderia pelengkap, Gaussian-LIC mencapai anggaran sikap yang berkuasa, masa nyata dan ketepatan tinggi, dengan itu memudahkan operasi keseluruhan sistem SLAM.

Setiap kali data kamera inersia lidar terkini (0.1 saat dalam artikel ini) terkumpul, trajektori dalam selang masa tersebut dioptimumkan dengan cekap berdasarkan graf faktor:

Awan titik lidar untuk dipetakan

imej Faktor visual pada peta

Faktor IMU

Faktor bias

Kami hanya menggunakan imej terkini untuk pengoptimuman semasa selang masa.

Gaussian-LIC mengekalkan peta lidar global yang disimpan dalam voxel pada resolusi 0.1 meter. Selepas mengoptimumkan trajektori dalam selang masa semasa, untuk meningkatkan kecekapan, hanya satu perempat daripada titik lidar dalam tempoh masa itu ditukar kepada koordinat dunia dan dilampirkan pada voxel untuk memastikan bahawa bilangan titik lidar dalam setiap voxel ialah Jarak antara mereka hendaklah lebih besar daripada 0.05 meter untuk mengurangkan lebihan. Untuk titik lidar yang berjaya dilampirkan, tonjolkannya pada imej terkini dan warnakannya dengan menanyakan nilai piksel. Selepas itu, mereka dihantar ke utas pemetaan bersama-sama dengan imej terkini anggaran pose kamera, yang dianggap sebagai bingkai.

Pemetaan realistik berdasarkan 3DGS
• Dengan input berterusan: anggaran pose kamera, imej bebas herotan, titik lidar berwarna, modul pemetaan membina dan mengoptimumkan peta Gaussian secara beransur-ansur, terutamanya dalam 4 langkah:
• Permulaan
• taburan Gaussian baharu menggunakan semua mata lidar yang diterima semasa selang masa pertama. Untuk mengurangkan artifak aliasing, kami menetapkan skala yang lebih kecil kepada Gaussian lebih dekat dengan satah imej dan skala yang lebih besar kepada Gaussians yang lebih jauh dari satah imej:

2. Sambungan: Biasanya, setiap bingkai yang diterima menangkap geometri dan rupa kawasan tontonan baharu. Untuk mengelakkan pertindihan atau lebihan maklumat yang sangat serupa, mula-mula tunjukkan imej kontur daripada paparan imej semasa mengikut persamaan (6), dan jana topeng untuk memilih piksel yang tidak boleh dipercayai dalam peta Gaussian semasa, dan Cenderung untuk memerhati kawasan baharu, hanya titik lidar yang boleh ditayangkan pada piksel yang dipilih dieksploitasi:

3. Pengoptimuman: Gunakan semua imej yang diterima untuk pengoptimuman bagi sistem pemetaan tambahan dalam talian kami Ini tidak boleh dilaksanakan secara pengiraan, jadi setiap bingkai imej kelima dianggap kerangka utama. Untuk memastikan kerumitan pengiraan terhad untuk kecekapan, kami memilih bingkai utama aktif untuk mengoptimumkan peta Gaussian, termasuk bingkai utama pertama dan terakhir, dan bingkai kunci lain yang dipilih secara rawak untuk mengelakkan bencana menyelesaikan masalah melupakan seksual dan mengekalkan geometri. ketekalan peta global. Kami merombak bingkai kunci yang dipilih secara rawak dan mengulangi setiap bingkai kunci satu demi satu, mengoptimumkan peta dengan meminimumkan kehilangan pemaparan semula:

4. Kawalan Adaptif: Pengimbasan LiDAR mungkin tidak meliputi keseluruhan pemandangan , terutamanya dalam tanpa sempadan persekitaran luar. Oleh itu, adalah perlu untuk melaksanakan kawalan penyesuaian untuk memadatkan peta Gaussian dalam jumlah unit. Strategi asal mengendalikan Gaussians dengan kecerunan yang besar pada selang masa tetap, manakala dalam mod tambahan, memandangkan mereka selalunya belum menumpu lagi, Gaussian yang baru ditambah mungkin tersalah klon atau terbelah kerana mempunyai kecerunan yang besar. Penyelesaiannya adalah untuk mengklasifikasikan taburan Gaussian sedia ada ke dalam kategori stabil dan tidak stabil, dan hanya padatkan taburan Gaussian yang stabil.

Experiment

summary dan perbincangan

Gaussian-lic adalah novel lidar -inertial-kamera medan slam medan, dilaksanakan pengesanan yang sangat tepat , dwi fungsi dengan pembinaan semula dalam talian fotorealistik dengan percikan Gaussian 3D. Titik LiDAR berlorek dalam koordinat dunia yang dihasilkan oleh odometri kamera LiDAR-inersia yang cekap digunakan sebagai pendahuluan yang baik untuk membantu pembinaan tambahan peta Gaussian dengan generalisasi yang jauh lebih baik dalam pemandangan dalam dan luar .

Ruang untuk penambahbaikan:

• Cuba alih keluar taburan Gaussian yang tidak perlu dalam peta.
• Menyokong pelbagai lidar, pada masa ini hanya cuba menggunakan lidar keadaan pepejal.
• Pendedahan automatik kamera dan kabur gerakan mempengaruhi kualiti visual peta realistik.

Atas ialah kandungan terperinci Gaussian-LIC: Sistem gabungan 3DGS-SLAM berbilang sensor pertama (Universiti Zhejiang & TUM). Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!