多传感器与3DGS的结合
“基于3D空间中的采样进行计算密集型SLAM任务所需的实时能力”的隐式表达法需要基于NeRF-based SLAM方法。3DGS以其快速的渲染速度和优越的视觉质量而引人注目。作为一种明确且可以解释的表达法,3DGS使得场景编辑变得简单,有利于众多下游任务的执行。
现有的基于辐射场的SLAM系统,主要在光照良好的小规模室内环境中进行测试,并使用顺序RGB-D或RGB输入获得令人满意的结果。当这些方法扩展到具有挑战性的大规模不受控制的室外场景时将会遇到困难,例如具有挑战性的光照条件、杂乱的背景和高度动态的自身运动。
使用Gaussian-LIC 通过融合来自多个传感器的数据,包括3D激光雷达、IMU和相机(称为ALIC),在不受控制的室外场景中
- 首个基于激光雷达惯性相机融合的3DGS-SLAM系统,实现了高度精确的姿态跟踪和逼真的在线地图构建。
- 利用顺序着色激光雷达点云作为先验,以在线方式重建高斯地图。利用精心设计的一系列策略,逐步扩展高斯地图并自适应地控制其密度,以实现高效率和准确性。
- 在室内外场景中经过广泛验证,展示了在逼真地图制作方面的最新性能。在恶劣条件下表现出鲁棒性,包括高度动态运动、低照明和缺乏几何结构和视觉纹理。
具体方法
如图1所示是LIC-SLAM系统流程。
3DGS的表示
将场景表示为各向异性的3D高斯集合,每个高斯的方差:
将3D高斯投影到图像平面上,获得2D高斯分布:
投影获得的2D高斯通过不透明度加权方程影响像素:
渲染轮廓图像以确定像素是否包含了足够的来自高斯地图的信息:
LiDAR-IMU-Camera里程计
里程计采用了先前的工作Coco-LIC作为跟踪前端,一个连续时间紧密耦合的激光雷达惯性摄像头测距系统。通过集成三种互补的传感器,Gaussian-LIC实现了强大、实时和高精度的姿态估计,从而促进了整个SLAM系统的运行。
每当最新的 (本文中为0.1秒)内的激光雷达惯性摄像头数据被累积时,会基于因子图高效地优化该时间间隔内的轨迹:
- 激光雷达点云到地图
- 图像到地图的视觉因子
- IMU因子
- 偏差因子
在时间间隔内我们仅利用最新的图像进行优化。
Gaussian-LIC维护一个以0.1米分辨率存储在体素中的全局激光雷达地图。在优化当前时间间隔内的轨迹后,为了提高效率,仅将该时间段内四分之一的激光雷达点转换为世界坐标并附加到体素中,以确保每个体素中的激光雷达点之间的距离应大于0.05米,以减少冗余。对于成功附加的激光雷达点,将它们投影到最新的图像上,并通过查询像素值为其着色。随后,它们与估计的相机姿态的最新图像一起发送到映射线程,被视为一帧。
基于3DGS的逼真建图
随着持续输入:估计的相机姿态、无畸变图像、着色的激光雷达点,建图模块逐步构建和优化高斯地图,主要分4步:
- 初始化:利用在第一个时间间隔内接收到的所有激光雷达点来创建新的高斯分布。为了减轻混叠伪影,我们为距离更近的高斯分布分配较小的尺度,而对于远离图像平面的高斯分布则分配较大的尺度:
- 扩展:通常情况下,接收到的每帧画面都会捕捉到新观察区域的几何和外观。为了避免重复或极其相似的信息冗余,首先根据方程(6)从当前图像视图中渲染出一个轮廓图像,并生成一个掩码,以选择当前高斯地图中不可靠的像素,并倾向于观察新区域,只有能够投影到所选像素上的激光雷达点才会被利用:
- 优化:使用所有接收到的图像进行优化对于我们的在线增量映射系统来说在计算上是不可行的,因此将每五帧图像视为一个关键帧。为了保持有界的计算复杂度以提高效率,我们选择 个活跃的关键帧来优化高斯地图,包括第一个和最后一个关键帧,以及其他随机选择的 个关键帧,避免了灾难性遗忘问题,并保持了全局地图的几何一致性。我们随机打乱所选的 个关键帧,并逐个迭代每个关键帧,通过最小化重新渲染损失来优化地图:
- 自适应控制:激光雷达扫描可能无法覆盖整个场景,特别是在无边界的室外环境中。因此需要执行自适应控制以在单位体积内密集化高斯地图。原始策略在固定间隔处理具有较大梯度的高斯分布,而在增量模式下,由于它们通常尚未收敛,最近添加的高斯分布可能会由于具有较大梯度而被错误地克隆或分裂。解决方法是将现有的高斯分布分类为稳定和不稳定两类,并只对稳定的高斯分布进行密集化。
实验
总结和讨论
Gaussian-LIC 是一种新颖的LiDAR-惯性-相机辐射场SLAM系统,实现了高度准确的跟踪、具有3D高斯喷溅的逼真在线重建的双重功能。由高效的LiDAR-惯性-相机里程计产生的世界坐标中的着色LiDAR点被用作良好的先验,以辅助高斯地图的增量建立,在室内和室外场景中具有显著更好的泛化能力。
改进的空间:
- 尝试去除地图中非必要的高斯分布。
- 支持各种激光雷达,目前只尝试用固态激光雷达。
- 相机的自动曝光和运动模糊,影响逼真地图的视觉质量。
以上是Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)的详细内容。更多信息请关注PHP中文网其他相关文章!

AI增强食物准备 在新生的使用中,AI系统越来越多地用于食品制备中。 AI驱动的机器人在厨房中用于自动化食物准备任务,例如翻转汉堡,制作披萨或组装SA

介绍 了解Python功能中变量的名称空间,范围和行为对于有效编写和避免运行时错误或异常至关重要。在本文中,我们将研究各种ASP

介绍 想象一下,穿过美术馆,周围是生动的绘画和雕塑。现在,如果您可以向每一部分提出一个问题并获得有意义的答案,该怎么办?您可能会问:“您在讲什么故事?

继续使用产品节奏,本月,Mediatek发表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。这些产品填补了Mediatek业务中更传统的部分,其中包括智能手机的芯片

#1 Google推出了Agent2Agent 故事:现在是星期一早上。作为AI驱动的招聘人员,您更聪明,而不是更努力。您在手机上登录公司的仪表板。它告诉您三个关键角色已被采购,审查和计划的FO

我猜你一定是。 我们似乎都知道,心理障碍包括各种chat不休,这些chat不休,这些chat不休,混合了各种心理术语,并且常常是难以理解的或完全荒谬的。您需要做的一切才能喷出fo

根据本周发表的一项新研究,只有在2022年制造的塑料中,只有9.5%的塑料是由回收材料制成的。同时,塑料在垃圾填埋场和生态系统中继续堆积。 但是有帮助。一支恩金团队

我最近与领先的企业分析平台Alteryx首席执行官安迪·麦克米伦(Andy Macmillan)的对话强调了这一在AI革命中的关键但不足的作用。正如Macmillan所解释的那样,原始业务数据与AI-Ready Informat之间的差距


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

DVWA
Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

SublimeText3汉化版
中文版,非常好用

mPDF
mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

EditPlus 中文破解版
体积小,语法高亮,不支持代码提示功能