搜索
首页科技周边人工智能Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

多传感器与3DGS的结合

“基于3D空间中的采样进行计算密集型SLAM任务所需的实时能力”的隐式表达法需要基于NeRF-based SLAM方法。3DGS以其快速的渲染速度和优越的视觉质量而引人注目。作为一种明确且可以解释的表达法,3DGS使得场景编辑变得简单,有利于众多下游任务的执行。

现有的基于辐射场的SLAM系统,主要在光照良好的小规模室内环境中进行测试,并使用顺序RGB-D或RGB输入获得令人满意的结果。当这些方法扩展到具有挑战性的大规模不受控制的室外场景时将会遇到困难,例如具有挑战性的光照条件、杂乱的背景和高度动态的自身运动。

使用Gaussian-LIC 通过融合来自多个传感器的数据,包括3D激光雷达、IMU和相机(称为ALIC),在不受控制的室外场景中

  • 首个基于激光雷达惯性相机融合的3DGS-SLAM系统,实现了高度精确的姿态跟踪和逼真的在线地图构建。
  • 利用顺序着色激光雷达点云作为先验,以在线方式重建高斯地图。利用精心设计的一系列策略,逐步扩展高斯地图并自适应地控制其密度,以实现高效率和准确性。
  • 在室内外场景中经过广泛验证,展示了在逼真地图制作方面的最新性能。在恶劣条件下表现出鲁棒性,包括高度动态运动、低照明和缺乏几何结构和视觉纹理。

具体方法

如图1所示是LIC-SLAM系统流程。

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

3DGS的表示

将场景表示为各向异性的3D高斯集合,每个高斯的方差:

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

将3D高斯投影到图像平面上,获得2D高斯分布:

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

投影获得的2D高斯通过不透明度加权方程影响像素:

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

渲染轮廓图像以确定像素是否包含了足够的来自高斯地图的信息:

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

LiDAR-IMU-Camera里程计

里程计采用了先前的工作Coco-LIC作为跟踪前端,一个连续时间紧密耦合的激光雷达惯性摄像头测距系统。通过集成三种互补的传感器,Gaussian-LIC实现了强大、实时和高精度的姿态估计,从而促进了整个SLAM系统的运行。

每当最新的 (本文中为0.1秒)内的激光雷达惯性摄像头数据被累积时,会基于因子图高效地优化该时间间隔内的轨迹:

  • 激光雷达点云到地图
  • 图像到地图的视觉因子
  • IMU因子
  • 偏差因子

在时间间隔内我们仅利用最新的图像进行优化。

Gaussian-LIC维护一个以0.1米分辨率存储在体素中的全局激光雷达地图。在优化当前时间间隔内的轨迹后,为了提高效率,仅将该时间段内四分之一的激光雷达点转换为世界坐标并附加到体素中,以确保每个体素中的激光雷达点之间的距离应大于0.05米,以减少冗余。对于成功附加的激光雷达点,将它们投影到最新的图像上,并通过查询像素值为其着色。随后,它们与估计的相机姿态的最新图像一起发送到映射线程,被视为一帧。

基于3DGS的逼真建图

随着持续输入:估计的相机姿态、无畸变图像、着色的激光雷达点,建图模块逐步构建和优化高斯地图,主要分4步:

  1. 初始化:利用在第一个时间间隔内接收到的所有激光雷达点来创建新的高斯分布。为了减轻混叠伪影,我们为距离更近的高斯分布分配较小的尺度,而对于远离图像平面的高斯分布则分配较大的尺度:

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

  1. 扩展:通常情况下,接收到的每帧画面都会捕捉到新观察区域的几何和外观。为了避免重复或极其相似的信息冗余,首先根据方程(6)从当前图像视图中渲染出一个轮廓图像,并生成一个掩码,以选择当前高斯地图中不可靠的像素,并倾向于观察新区域,只有能够投影到所选像素上的激光雷达点才会被利用:

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

  1. 优化:使用所有接收到的图像进行优化对于我们的在线增量映射系统来说在计算上是不可行的,因此将每五帧图像视为一个关键帧。为了保持有界的计算复杂度以提高效率,我们选择  个活跃的关键帧来优化高斯地图,包括第一个和最后一个关键帧,以及其他随机选择的  个关键帧,避免了灾难性遗忘问题,并保持了全局地图的几何一致性。我们随机打乱所选的  个关键帧,并逐个迭代每个关键帧,通过最小化重新渲染损失来优化地图:

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

  1. 自适应控制:激光雷达扫描可能无法覆盖整个场景,特别是在无边界的室外环境中。因此需要执行自适应控制以在单位体积内密集化高斯地图。原始策略在固定间隔处理具有较大梯度的高斯分布,而在增量模式下,由于它们通常尚未收敛,最近添加的高斯分布可能会由于具有较大梯度而被错误地克隆或分裂。解决方法是将现有的高斯分布分类为稳定和不稳定两类,并只对稳定的高斯分布进行密集化。

实验

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)

总结和讨论

Gaussian-LIC 是一种新颖的LiDAR-惯性-相机辐射场SLAM系统,实现了高度准确的跟踪、具有3D高斯喷溅的逼真在线重建的双重功能。由高效的LiDAR-惯性-相机里程计产生的世界坐标中的着色LiDAR点被用作良好的先验,以辅助高斯地图的增量建立,在室内和室外场景中具有显著更好的泛化能力。

改进的空间:

  • 尝试去除地图中非必要的高斯分布。
  • 支持各种激光雷达,目前只尝试用固态激光雷达。
  • 相机的自动曝光和运动模糊,影响逼真地图的视觉质量。

以上是Gaussian-LIC:首个多传感器融合3DGS-SLAM系统(浙大&TUM)的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
烹饪创新:人工智能如何改变食品服务烹饪创新:人工智能如何改变食品服务Apr 12, 2025 pm 12:09 PM

AI增强食物准备 在新生的使用中,AI系统越来越多地用于食品制备中。 AI驱动的机器人在厨房中用于自动化食物准备任务,例如翻转汉堡,制作披萨或组装SA

Python名称空间和可变范围的综合指南Python名称空间和可变范围的综合指南Apr 12, 2025 pm 12:00 PM

介绍 了解Python功能中变量的名称空间,范围和行为对于有效编写和避免运行时错误或异常至关重要。在本文中,我们将研究各种ASP

视觉语言模型(VLMS)的综合指南视觉语言模型(VLMS)的综合指南Apr 12, 2025 am 11:58 AM

介绍 想象一下,穿过​​美术馆,周围是生动的绘画和雕塑。现在,如果您可以向每一部分提出一个问题并获得有意义的答案,该怎么办?您可能会问:“您在讲什么故事?

联发科技与kompanio Ultra和Dimenty 9400增强优质阵容联发科技与kompanio Ultra和Dimenty 9400增强优质阵容Apr 12, 2025 am 11:52 AM

继续使用产品节奏,本月,Mediatek发表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。这些产品填补了Mediatek业务中更传统的部分,其中包括智能手机的芯片

本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:现在是星期一早上。作为AI驱动的招聘人员,您更聪明,而不是更努力。您在手机上登录公司的仪表板。它告诉您三个关键角色已被采购,审查和计划的FO

生成的AI遇到心理摩托车生成的AI遇到心理摩托车Apr 12, 2025 am 11:50 AM

我猜你一定是。 我们似乎都知道,心理障碍包括各种chat不休,这些chat不休,这些chat不休,混合了各种心理术语,并且常常是难以理解的或完全荒谬的。您需要做的一切才能喷出fo

原型:科学家将纸变成塑料原型:科学家将纸变成塑料Apr 12, 2025 am 11:49 AM

根据本周发表的一项新研究,只有在2022年制造的塑料中,只有9.5%的塑料是由回收材料制成的。同时,塑料在垃圾填埋场和生态系统中继续堆积。 但是有帮助。一支恩金团队

AI分析师的崛起:为什么这可能是AI革命中最重要的工作AI分析师的崛起:为什么这可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近与领先的企业分析平台Alteryx首席执行官安迪·麦克米伦(Andy Macmillan)的对话强调了这一在AI革命中的关键但不足的作用。正如Macmillan所解释的那样,原始业务数据与AI-Ready Informat之间的差距

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版