搜索
首页科技周边人工智能BEV下的Radar-Camera 融合跨数据集实验研究

BEV下的Radar-Camera 融合跨数据集实验研究

Oct 05, 2023 pm 06:45 PM
数据自动驾驶

原标题:Cross-Dataset Experimental Study of Radar-Camera Fusion in Bird’s-Eye View
论文链接:https://arxiv.org/pdf/2309.15465.pdf
作者单位:Opel Automobile GmbH Rheinland-Pfalzische Technische Universitat Kaiserslautern-Landau German Research Center for Artificial Intelligence

BEV下的Radar-Camera 融合跨数据集实验研究

论文思路:

通过利用互补的传感器信息,毫米波雷达和相机融合系统具有潜力为先进的驾驶员辅助系统和自动驾驶功能提供高度稳健和可靠的感知系统。基于相机的目标检测的最新进展为毫米波雷达和相机的融合提供了新的可能性,可以利用鸟瞰特征图进行融合。本研究提出了一种新颖且灵活的融合网络,并在两个数据集(nuScenes 和 View-of-Delft)上评估了其性能。实验结果表明,虽然相机分支需要大量且多样化的训练数据,但毫米波雷达分支从高性能的毫米波雷达中受益更多。通过迁移学习,本研究提高了相机在较小数据集上的性能。研究结果进一步表明,毫米波雷达和相机的融合方法明显优于仅使用相机或仅使用毫米波雷达的基准方法

网络设计:

最近,3D目标检测的一个趋势是将图像的特征转换成一种常见的鸟瞰图(BEV)表示。这种表示方式提供了一种灵活的融合架构,可以在多个摄像头之间进行融合,也可以使用测距传感器进行融合。在这项工作中,我们扩展了原本用于激光摄像头融合的BEVFusion方法,用于毫米波雷达摄像头的融合。我们使用选定的毫米波雷达数据集对我们提出的融合方法进行了训练和评估。在几个实验中,我们讨论了每个数据集的优缺点。最后,我们应用迁移学习来实现进一步的改进

BEV下的Radar-Camera 融合跨数据集实验研究

以下是需要重新编写的内容: 图1展示了基于BEVFusion的BEV毫米波雷达-相机融合流程图。在生成的相机图像中,我们包括了投影毫米波雷达的探测结果和真实边界框

本文遵循BEVFusion的融合架构。图1展示了本文在BEV中进行毫米波雷达-camera融合的网络概况。请注意,融合发生时,camera和毫米波雷达特征在BEV连接。下面,本文将为每个区块提供进一步的细节。

需要重写的内容是:A.相机编码器和相机到BEV视图转换

camera编码器和视图变换采用了[15]的思想,它是一种灵活的框架,可以提取任意camera外部和内部参数的图像BEV特征。首先,使用tiny-Swin Transformer网络从每个图像中提取特征。接下来,本文利用[14]的 Lift 和 Splat 步骤将图像的特征转换到BEV平面。为此,密集深度预测之后是基于规则的block,其中的特征被转换成伪点云,并进行栅格化并累积到BEV网格中。

雷达柱特征编码器

此块的目的是将毫米波雷达点云编码到与图像BEV特征相同的网格上的BEV特征中。为此,本文使用了[16]的 pillar 特征编码技术,将点云光栅化为无限高的体素,即所谓的pillar。

需要重新写的内容是:C. BEV编码器

与[5]相似,毫米波雷达和相机的BEV特征是通过级联融合来实现的。融合后的特征由联合卷积BEV编码器处理,以便网络能够考虑空间错位并利用不同模态之间的协同效应

D. Detection Head

本文使用CenterPoint检测头来预测每个类的目标中心的热图。进一步的回归头预测物体的尺寸、旋转和高度,以及nuScenes的速度和类属性。而热图采用高斯焦点损失进行训练,其余的检测头采用L1损失进行训练

实验结果:

BEV下的Radar-Camera 融合跨数据集实验研究

BEV下的Radar-Camera 融合跨数据集实验研究

BEV下的Radar-Camera 融合跨数据集实验研究

引用:

Stäcker, L., Heidenreich, P., Rambach, J., & Stricker, D. (2023). 《鸟瞰视角下雷达-摄像头融合的跨数据集实验研究》. ArXiv. /abs/2309.15465

BEV下的Radar-Camera 融合跨数据集实验研究

需要重写的内容是:原文链接;https://mp.weixin.qq.com/s/5mA5up5a4KJO2PBwUcuIdQ

以上是BEV下的Radar-Camera 融合跨数据集实验研究的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
Gemma范围:Google'用于凝视AI的显微镜Gemma范围:Google'用于凝视AI的显微镜Apr 17, 2025 am 11:55 AM

使用Gemma范围探索语言模型的内部工作 了解AI语言模型的复杂性是一个重大挑战。 Google发布的Gemma Scope是一种综合工具包,为研究人员提供了一种强大的探索方式

谁是商业智能分析师以及如何成为一位?谁是商业智能分析师以及如何成为一位?Apr 17, 2025 am 11:44 AM

解锁业务成功:成为商业智能分析师的指南 想象一下,将原始数据转换为驱动组织增长的可行见解。 这是商业智能(BI)分析师的力量 - 在GU中的关键作用

如何在SQL中添加列? - 分析Vidhya如何在SQL中添加列? - 分析VidhyaApr 17, 2025 am 11:43 AM

SQL的Alter表语句:动态地将列添加到数据库 在数据管理中,SQL的适应性至关重要。 需要即时调整数据库结构吗? Alter表语句是您的解决方案。本指南的详细信息添加了Colu

业务分析师与数据分析师业务分析师与数据分析师Apr 17, 2025 am 11:38 AM

介绍 想象一个繁华的办公室,两名专业人员在一个关键项目中合作。 业务分析师专注于公司的目标,确定改进领域,并确保与市场趋势保持战略一致。 simu

什么是Excel中的Count和Counta? - 分析Vidhya什么是Excel中的Count和Counta? - 分析VidhyaApr 17, 2025 am 11:34 AM

Excel 数据计数与分析:COUNT 和 COUNTA 函数详解 精确的数据计数和分析在 Excel 中至关重要,尤其是在处理大型数据集时。Excel 提供了多种函数来实现此目的,其中 COUNT 和 COUNTA 函数是用于在不同条件下统计单元格数量的关键工具。虽然这两个函数都用于计数单元格,但它们的设计目标却针对不同的数据类型。让我们深入了解 COUNT 和 COUNTA 函数的具体细节,突出它们独特的特性和区别,并学习如何在数据分析中应用它们。 要点概述 理解 COUNT 和 COU

Chrome在这里与AI:每天都有新事物!Chrome在这里与AI:每天都有新事物!Apr 17, 2025 am 11:29 AM

Google Chrome的AI Revolution:个性化和高效的浏览体验 人工智能(AI)正在迅速改变我们的日常生活,而Google Chrome正在领导网络浏览领域的负责人。 本文探讨了兴奋

AI的人类方面:福祉和四人底线AI的人类方面:福祉和四人底线Apr 17, 2025 am 11:28 AM

重新构想影响:四倍的底线 长期以来,对话一直以狭义的AI影响来控制,主要集中在利润的最低点上。但是,更全面的方法认识到BU的相互联系

您应该知道的5个改变游戏规则的量子计算用例您应该知道的5个改变游戏规则的量子计算用例Apr 17, 2025 am 11:24 AM

事情正稳步发展。投资投入量子服务提供商和初创企业表明,行业了解其意义。而且,越来越多的现实用例正在出现以证明其价值超出

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它们
1 个月前By尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

VSCode Windows 64位 下载

VSCode Windows 64位 下载

微软推出的免费、功能强大的一款IDE编辑器