搜索
首页科技周边人工智能BEV下的Radar-Camera 融合跨数据集实验研究
BEV下的Radar-Camera 融合跨数据集实验研究Oct 05, 2023 pm 06:45 PM
数据自动驾驶

原标题:Cross-Dataset Experimental Study of Radar-Camera Fusion in Bird’s-Eye View
论文链接:https://arxiv.org/pdf/2309.15465.pdf
作者单位:Opel Automobile GmbH Rheinland-Pfalzische Technische Universitat Kaiserslautern-Landau German Research Center for Artificial Intelligence

BEV下的Radar-Camera 融合跨数据集实验研究

论文思路:

通过利用互补的传感器信息,毫米波雷达和相机融合系统具有潜力为先进的驾驶员辅助系统和自动驾驶功能提供高度稳健和可靠的感知系统。基于相机的目标检测的最新进展为毫米波雷达和相机的融合提供了新的可能性,可以利用鸟瞰特征图进行融合。本研究提出了一种新颖且灵活的融合网络,并在两个数据集(nuScenes 和 View-of-Delft)上评估了其性能。实验结果表明,虽然相机分支需要大量且多样化的训练数据,但毫米波雷达分支从高性能的毫米波雷达中受益更多。通过迁移学习,本研究提高了相机在较小数据集上的性能。研究结果进一步表明,毫米波雷达和相机的融合方法明显优于仅使用相机或仅使用毫米波雷达的基准方法

网络设计:

最近,3D目标检测的一个趋势是将图像的特征转换成一种常见的鸟瞰图(BEV)表示。这种表示方式提供了一种灵活的融合架构,可以在多个摄像头之间进行融合,也可以使用测距传感器进行融合。在这项工作中,我们扩展了原本用于激光摄像头融合的BEVFusion方法,用于毫米波雷达摄像头的融合。我们使用选定的毫米波雷达数据集对我们提出的融合方法进行了训练和评估。在几个实验中,我们讨论了每个数据集的优缺点。最后,我们应用迁移学习来实现进一步的改进

BEV下的Radar-Camera 融合跨数据集实验研究

以下是需要重新编写的内容: 图1展示了基于BEVFusion的BEV毫米波雷达-相机融合流程图。在生成的相机图像中,我们包括了投影毫米波雷达的探测结果和真实边界框

本文遵循BEVFusion的融合架构。图1展示了本文在BEV中进行毫米波雷达-camera融合的网络概况。请注意,融合发生时,camera和毫米波雷达特征在BEV连接。下面,本文将为每个区块提供进一步的细节。

需要重写的内容是:A.相机编码器和相机到BEV视图转换

camera编码器和视图变换采用了[15]的思想,它是一种灵活的框架,可以提取任意camera外部和内部参数的图像BEV特征。首先,使用tiny-Swin Transformer网络从每个图像中提取特征。接下来,本文利用[14]的 Lift 和 Splat 步骤将图像的特征转换到BEV平面。为此,密集深度预测之后是基于规则的block,其中的特征被转换成伪点云,并进行栅格化并累积到BEV网格中。

雷达柱特征编码器

此块的目的是将毫米波雷达点云编码到与图像BEV特征相同的网格上的BEV特征中。为此,本文使用了[16]的 pillar 特征编码技术,将点云光栅化为无限高的体素,即所谓的pillar。

需要重新写的内容是:C. BEV编码器

与[5]相似,毫米波雷达和相机的BEV特征是通过级联融合来实现的。融合后的特征由联合卷积BEV编码器处理,以便网络能够考虑空间错位并利用不同模态之间的协同效应

D. Detection Head

本文使用CenterPoint检测头来预测每个类的目标中心的热图。进一步的回归头预测物体的尺寸、旋转和高度,以及nuScenes的速度和类属性。而热图采用高斯焦点损失进行训练,其余的检测头采用L1损失进行训练

实验结果:

BEV下的Radar-Camera 融合跨数据集实验研究

BEV下的Radar-Camera 融合跨数据集实验研究

BEV下的Radar-Camera 融合跨数据集实验研究

引用:

Stäcker, L., Heidenreich, P., Rambach, J., & Stricker, D. (2023). 《鸟瞰视角下雷达-摄像头融合的跨数据集实验研究》. ArXiv. /abs/2309.15465

BEV下的Radar-Camera 融合跨数据集实验研究

需要重写的内容是:原文链接;https://mp.weixin.qq.com/s/5mA5up5a4KJO2PBwUcuIdQ

以上是BEV下的Radar-Camera 融合跨数据集实验研究的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
解读CRISP-ML(Q):机器学习生命周期流程解读CRISP-ML(Q):机器学习生命周期流程Apr 08, 2023 pm 01:21 PM

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

人工智能的环境成本和承诺人工智能的环境成本和承诺Apr 08, 2023 pm 04:31 PM

人工智能(AI)在流行文化和政治分析中经常以两种极端的形式出现。它要么代表着人类智慧与科技实力相结合的未来主义乌托邦的关键,要么是迈向反乌托邦式机器崛起的第一步。学者、企业家、甚至活动家在应用人工智能应对气候变化时都采用了同样的二元思维。科技行业对人工智能在创建一个新的技术乌托邦中所扮演的角色的单一关注,掩盖了人工智能可能加剧环境退化的方式,通常是直接伤害边缘人群的方式。为了在应对气候变化的过程中充分利用人工智能技术,同时承认其大量消耗能源,引领人工智能潮流的科技公司需要探索人工智能对环境影响的

找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PM

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

条形统计图用什么呈现数据条形统计图用什么呈现数据Jan 20, 2021 pm 03:31 PM

条形统计图用“直条”呈现数据。条形统计图是用一个单位长度表示一定的数量,根据数量的多少画成长短不同的直条,然后把这些直条按一定的顺序排列起来;从条形统计图中很容易看出各种数量的多少。条形统计图分为:单式条形统计图和复式条形统计图,前者只表示1个项目的数据,后者可以同时表示多个项目的数据。

自动驾驶车道线检测分类的虚拟-真实域适应方法自动驾驶车道线检测分类的虚拟-真实域适应方法Apr 08, 2023 pm 02:31 PM

arXiv论文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“,2022年5月,加拿大滑铁卢大学的工作。虽然自主驾驶的监督检测和分类框架需要大型标注数据集,但光照真实模拟环境生成的合成数据推动的无监督域适应(UDA,Unsupervised Domain Adaptation)方法则是低成本、耗时更少的解决方案。本文提出对抗性鉴别和生成(adversarial d

数据通信中的信道传输速率单位是bps,它表示什么数据通信中的信道传输速率单位是bps,它表示什么Jan 18, 2021 pm 02:58 PM

数据通信中的信道传输速率单位是bps,它表示“位/秒”或“比特/秒”,即数据传输速率在数值上等于每秒钟传输构成数据代码的二进制比特数,也称“比特率”。比特率表示单位时间内传送比特的数目,用于衡量数字信息的传送速度;根据每帧图像存储时所占的比特数和传输比特率,可以计算数字图像信息传输的速度。

数据分析方法有哪几种数据分析方法有哪几种Dec 15, 2020 am 09:48 AM

数据分析方法有4种,分别是:1、趋势分析,趋势分析一般用于核心指标的长期跟踪;2、象限分析,可依据数据的不同,将各个比较主体划分到四个象限中;3、对比分析,分为横向对比和纵向对比;4、交叉分析,主要作用就是从多个维度细分数据。

聊一聊Python 实现数据的序列化操作聊一聊Python 实现数据的序列化操作Apr 12, 2023 am 09:31 AM

​在日常开发中,对数据进行序列化和反序列化是常见的数据操作,Python提供了两个模块方便开发者实现数据的序列化操作,即 json 模块和 pickle 模块。这两个模块主要区别如下:json 是一个文本序列化格式,而 pickle 是一个二进制序列化格式;json 是我们可以直观阅读的,而 pickle 不可以;json 是可互操作的,在 Python 系统之外广泛使用,而 pickle 则是 Python 专用的;默认情况下,json 只能表示 Python 内置类型的子集,不能表示自定义的

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。