搜索
首页科技周边人工智能北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

近年来,对视觉感知系统安全性评估的研究已经逐渐深入,已经有研究人员成功地开发了基于眼镜、贴纸、衣物等不同载体的可见光模态安全评估技术,并且还有一些对红外模态的新尝试。然而,这些技术都只能应用于单一的模态

随着人工智能技术的发展,可见光-热红外成像技术已广泛应用于治安监控、自动驾驶等安全关键任务中。可见光成像在白天能提供丰富的纹理信息,而红外成像则能在夜间清晰显示目标的热辐射分布。二者结合使用,视觉感知系统可以实现24小时全覆盖,并且不受环境限制,具备许多优势。因此,需要研究针对多模态视觉感知系统的统一安全评估方法

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

然而,实现多模态评估极具挑战性。首先,在不同成像机制下打击方法通用难。以前的方法都分别基于特定目标模态成像特点提出,在其他模态下很难起到作用。再者,平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易,实现低成本便捷制作与使用更是难上加难。

面对诸多挑战,来自北航人工智能研究院的研究者挖掘可见光 - 红外模态间通用的形状属性,创新性地提出 「跨模态通用对抗补丁」,实现可见光 - 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片,即拆即用,在填补当前物理世界可见光 - 红外多模态检测系统鲁棒性评估技术缺失的同时,兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性,以及多场景下的泛化性。目前,该论文已被 ICCV 2023 接收。

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

请点击以下链接查看论文:https://arxiv.org/abs/2307.07859

代码链接:https://github.com/Aries-iai/Cross-modal_Patch_Attack

技术要点

该研究以进化算法为基础框架,从形状建模、形状优化和模态平衡三个角度进行方案设计和效果改进。具体流程如下图所示:

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

1. 基于样条插值的多锚点形状建模

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

对于基础形状建模部分,研究人员设计了一种点优化建模新范式。通过改变点的坐标,可以直接调整补丁的形状,而不受方向、距离等限制的影响。这样有效地增大了补丁形状的搜索空间。为了确保形状的自然性,研究人员还利用了样条插值方法来实现平滑连接,使得样条更紧密地跟随控制点

2. 边界限定形状优化算法基于差分进化的原理

实现打击需要有效的优化手段,为此研究人员从时间成本、实际效果等角度考量,以进化算法作为基本框架,并从边界设定、适应度函数两个角度改进:

需要进行改写的内容是:(1)边界设定:通过对锚点进行边界设定,可以提高形变的有效性,降低时间成本。其具体设定如下:不会在曲线段内形成循环或自交;在曲线段内不容易出现尖点;不会出现在无效区域

以锚点北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了为例,下图蓝色部分为边界设定图例,橙色部分为错误实例:

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

关于锚点北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了的边界判定 北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了 数学表达如下所示:

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

(2)适应度函数:本研究不同于以往仅针对单一模态进行打击评估的工作,而是聚焦于可见光-红外两个模态,并且意识到两个模态之间存在天然的平衡效果差异问题。为了避免过度优化单一模态而忽视另一模态,研究人员提出了一种创新的跨模态适应度函数,该函数基于检测器的置信度得分感知,旨在鼓励探索成功的方向并平衡两个模态之间的效果差异。最终,根据评分进行优胜劣汰。为了考虑到初始阶段和后期阶段的打击难度差异,该函数使用指数函数代替线性函数,以更加凸显不同阶段的打击进度差异性

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

算法迭代该探索过程直至两模态都打击成功,输出最优形状策略。完整优化流程如下所示:

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

实验结果

实验一:针对不同系列检测器的跨模态打击性能验证

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

实验二:针对形状的消融实验

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

实验三:对于跨模态适应度函数的消融实验

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

实验四:物理实施偏差下的方法鲁棒性验证

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

实验五:不同物理条件下的方法有效性验证

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了

在不同的角度、距离、姿势和场景下进行性能验证,并将结果可视化呈现

总结

本研究的核心是自然形状优化,并结合形变补丁和跨模态打击,设计了一种物理环境下可见光 - 红外多模态鲁棒性评估方法。该方法可以评估多模态(可见光 - 红外)目标检测系统的鲁棒性,并根据评估结果有效地修正检测器模型,同时提高可见光和红外两种模态下目标图像检测的准确性。该方法在物理环境中实施和应用,为多模态检测系统的鲁棒性评估和改进做出了贡献

以上是北航打破模态壁垒,跨可见光-红外模态的通用物理对抗打击方法来了的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
烹饪创新:人工智能如何改变食品服务烹饪创新:人工智能如何改变食品服务Apr 12, 2025 pm 12:09 PM

AI增强食物准备 在新生的使用中,AI系统越来越多地用于食品制备中。 AI驱动的机器人在厨房中用于自动化食物准备任务,例如翻转汉堡,制作披萨或组装SA

Python名称空间和可变范围的综合指南Python名称空间和可变范围的综合指南Apr 12, 2025 pm 12:00 PM

介绍 了解Python功能中变量的名称空间,范围和行为对于有效编写和避免运行时错误或异常至关重要。在本文中,我们将研究各种ASP

视觉语言模型(VLMS)的综合指南视觉语言模型(VLMS)的综合指南Apr 12, 2025 am 11:58 AM

介绍 想象一下,穿过​​美术馆,周围是生动的绘画和雕塑。现在,如果您可以向每一部分提出一个问题并获得有意义的答案,该怎么办?您可能会问:“您在讲什么故事?

联发科技与kompanio Ultra和Dimenty 9400增强优质阵容联发科技与kompanio Ultra和Dimenty 9400增强优质阵容Apr 12, 2025 am 11:52 AM

继续使用产品节奏,本月,Mediatek发表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。这些产品填补了Mediatek业务中更传统的部分,其中包括智能手机的芯片

本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:现在是星期一早上。作为AI驱动的招聘人员,您更聪明,而不是更努力。您在手机上登录公司的仪表板。它告诉您三个关键角色已被采购,审查和计划的FO

生成的AI遇到心理摩托车生成的AI遇到心理摩托车Apr 12, 2025 am 11:50 AM

我猜你一定是。 我们似乎都知道,心理障碍包括各种chat不休,这些chat不休,这些chat不休,混合了各种心理术语,并且常常是难以理解的或完全荒谬的。您需要做的一切才能喷出fo

原型:科学家将纸变成塑料原型:科学家将纸变成塑料Apr 12, 2025 am 11:49 AM

根据本周发表的一项新研究,只有在2022年制造的塑料中,只有9.5%的塑料是由回收材料制成的。同时,塑料在垃圾填埋场和生态系统中继续堆积。 但是有帮助。一支恩金团队

AI分析师的崛起:为什么这可能是AI革命中最重要的工作AI分析师的崛起:为什么这可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近与领先的企业分析平台Alteryx首席执行官安迪·麦克米伦(Andy Macmillan)的对话强调了这一在AI革命中的关键但不足的作用。正如Macmillan所解释的那样,原始业务数据与AI-Ready Informat之间的差距

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。