搜索
首页科技周边人工智能单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

如何从一段视频中找出感兴趣的片段?时序行为检测(Temporal Action Localization,TAL)是一种常用方法。

利用视频内容进行建模之后,就可以在整段视频当中自由搜索了。

而华中科技大学与密歇根大学的联合团队最近又为这项技术带来了新的进展——

过去TAL中的建模是片段甚至实例级的,而现在只要视频里的一帧就能实现,效果媲美全监督。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

来自华中科技大学的团队提出了一种名为HR-Pro的新框架,用于点标注监督的时序行为检测。

通过多层级的reliability propagation,HR-Pro可以网络学习到更具辨别力的片段级特征和更可靠的实例级边界。

HR-Pro由两个可靠性感知的阶段组成,它能够有效地从片段级别和实例级别的点标注中传播高置信度的线索,从而使网络学习到更具区分性的片段表示和更可靠的提议。

在多个基准数据集上进行的实验表明,HR-Pro优于现有方法,结果最先进,证明了其有效性和点标注的潜力。

表现比肩全监督方式

下图展示了HR-Pro与LACP在THUMOS14测试视频上进行时序行为检测表现比较。

HR-Pro展现出更了准确的动作实例检测,具体来说:

  • 对于“高尔夫挥杆”行为,HR-Pro有效地区分了行为和背景片段,减轻了LACP难以处理的False Positive预测;
  • 对于铁饼投掷行为,HR-Pro检测到比LACP更完整的片段,后者在非区分性动作片段上具有较低的激活值。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

数据集上的测试结果,也印证了这一直观感受。

将THUMOS14数据集上的检测结果可视化后可以观察到,在实例级别完整性学习之后,高质量预测和低质量预测之间的差异显著增大。

(左侧是实例级别完整性学习之前的结果,右侧是学习之后的结果。横轴和纵轴分别表示时间和可靠性分数。)

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

整体来看,在常用4个数据集中,HR-Pro的性能均大幅超越最先进的点监督方法,在THUMOS14数据集上的平均mAP达到60.3%,相较之前的SoTA方法(53.7%)的提升为6.5%,并且能与一些全监督方法达到相当的效果。

在THUMOS14测试集上与下表中的先前最先进方法相比,对于IoU阈值在0.1到0.7之间,HR-Pro的平均mAP为60.3%,比先前最先进方法CRRC-Net高6.5%。

并且HR-Pro能够与具有竞争力的全监督方法达到相当的表现,例如AFSD(对于IoU阈值在0.3到0.7之间,平均mAP为51.1% vs. 52.0%)。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

△HR-Pro与前SOTA方法在THUMOS14数据集上的对比

在各种基准数据集上的通用性和优越性方面,HR-Pro也明显优于现有方法,在GTEA、BEOID和ActivityNet 1.3上分别取得了3.8%、7.6%和2.0%的提高。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

△HR-Pro与前SOTA方法在GTEA等数据集上的对比

那么,HR-Pro具体是如何实现的呢?

学习分两阶段进行

研究团队提出了多层级可靠传播方法,在片段级引入可靠片段记忆模块并利用交叉注意力的方法向其他片段传播,在实例级提出基于点监督的提议生成来关联片段和实例,用于产生不同可靠度的proposals,进一步在实例级优化proposals的置信度和边界。

HR-Pro的模型结构如下图所示:时序行为检测被划分为两阶段的学习过程,即片段级别的判别性学习实例级别的完整性学习

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

阶段一:片段级判别学习

研究团队引入可靠性感知的片段级判别学习,提出为每个类别存储可靠原型,并通过视频内和视频间的方式将这些原型中的高置信度线索传播到其他片段。

片段级可靠原型构建

为了构建片段级别的可靠原型,团队创建了一个在线更新的原型memory,用于存储各类行为的可靠原型mc(其中 c = 1, 2, …, C),以便能够利用整个数据集的特征信息。

研究团队选择了具有点标注的片段特征初始化原型:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

接下来,研究人员使用伪标记的行为片段特征来更新每个类别的原型,具体表述如下:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

片段级可靠性感知优化

为了将片段级可靠原型的特征信息传递到其他片段,研究团队设计了一个Reliabilty-aware Attention Block(RAB),通过交叉注意力的方式实现了将原型中的可靠信息注入到其他的片段中,从而增强片段特征的鲁棒性,并增加对较不具有判别力片段的关注。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

为了学习到更加具有判别里的片段特征,团队还构建了可靠性感知的片段对比损失:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

阶段二:实例级完整性学习

为了充分探索实例级别行为的时序结构并优化提议的得分排名,团队引入了实例级别的动作完整性学习。

这种方法旨在通过可靠的实例原型的指导,通过实例级别的特征学习来精化提议的置信度得分和边界。

实例级可靠原型构建

为了在训练过程中利用点标注的实例级别先验信息,团队提出了一种基于点标注的提议生成方法用于生成不同Reliability的proposals。

根据其可靠性分数和相对点标注的时序位置,这些提议可以分为两种类型:

  • 可靠提议(Reliable Proposals, RP):对于每个类别中的每个点,提议包含了这个点,并具有最高的可靠性;
  • 正样本提议(Positive Proposals, PP):所有其余的候选提议。

为确保正样本和负样本数量平衡,研究团队将那些具有类别无关的注意力分数低于预定义值的片段分组为负样本提议(Negative Proposals, NP)。

实例级可靠性感知优化

为了预测每个提议的完整性分数,研究团队将敏感边界的提议特征输入至得分预测头φs:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

然后用正/负样本提议与可靠提议的IoU作为指导,监督提议的完整性分数预测:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

为了获得更准确边界的行为proposal,研究者将每个PP中的proposal的起始区域特征和结束区域特征输入到回归预测头φr中,以预测proposal开始和结束时间的偏移量。

进一步计算得到精细化的proposals,并希望精细化后的proposals与可靠proposal重合。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA
单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA
单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

总之,HR-Pro只需很少的标注就能很好的效果大幅度降低了获取标签的成本,同时又拥有较强的泛化能力,为实际部署应用提供了有利条件。

据此,作者预计,HR-Pro将在行为分析、人机交互、驾驶分析等领域拥有广阔的应用前景。

论文地址:https://arxiv.org/abs/2308.12608

以上是单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
ai合并图层的快捷键是什么ai合并图层的快捷键是什么Jan 07, 2021 am 10:59 AM

ai合并图层的快捷键是“Ctrl+Shift+E”,它的作用是把目前所有处在显示状态的图层合并,在隐藏状态的图层则不作变动。也可以选中要合并的图层,在菜单栏中依次点击“窗口”-“路径查找器”,点击“合并”按钮。

ai橡皮擦擦不掉东西怎么办ai橡皮擦擦不掉东西怎么办Jan 13, 2021 am 10:23 AM

ai橡皮擦擦不掉东西是因为AI是矢量图软件,用橡皮擦不能擦位图的,其解决办法就是用蒙板工具以及钢笔勾好路径再建立蒙板即可实现擦掉东西。

谷歌超强AI超算碾压英伟达A100!TPU v4性能提升10倍,细节首次公开谷歌超强AI超算碾压英伟达A100!TPU v4性能提升10倍,细节首次公开Apr 07, 2023 pm 02:54 PM

虽然谷歌早在2020年,就在自家的数据中心上部署了当时最强的AI芯片——TPU v4。但直到今年的4月4日,谷歌才首次公布了这台AI超算的技术细节。论文地址:https://arxiv.org/abs/2304.01433相比于TPU v3,TPU v4的性能要高出2.1倍,而在整合4096个芯片之后,超算的性能更是提升了10倍。另外,谷歌还声称,自家芯片要比英伟达A100更快、更节能。与A100对打,速度快1.7倍论文中,谷歌表示,对于规模相当的系统,TPU v4可以提供比英伟达A100强1.

ai可以转成psd格式吗ai可以转成psd格式吗Feb 22, 2023 pm 05:56 PM

ai可以转成psd格式。转换方法:1、打开Adobe Illustrator软件,依次点击顶部菜单栏的“文件”-“打开”,选择所需的ai文件;2、点击右侧功能面板中的“图层”,点击三杠图标,在弹出的选项中选择“释放到图层(顺序)”;3、依次点击顶部菜单栏的“文件”-“导出”-“导出为”;4、在弹出的“导出”对话框中,将“保存类型”设置为“PSD格式”,点击“导出”即可;

GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑Apr 04, 2023 am 11:55 AM

Yann LeCun 这个观点的确有些大胆。 「从现在起 5 年内,没有哪个头脑正常的人会使用自回归模型。」最近,图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归,正是当前爆红的 GPT 家族模型所依赖的学习范式。当然,被 Yann LeCun 指出问题的不只是自回归模型。在他看来,当前整个的机器学习领域都面临巨大挑战。这场辩论的主题为「Do large language models need sensory grounding for meaning and u

ai顶部属性栏不见了怎么办ai顶部属性栏不见了怎么办Feb 22, 2023 pm 05:27 PM

ai顶部属性栏不见了的解决办法:1、开启Ai新建画布,进入绘图页面;2、在Ai顶部菜单栏中点击“窗口”;3、在系统弹出的窗口菜单页面中点击“控制”,然后开启“控制”窗口即可显示出属性栏。

ai移动不了东西了怎么办ai移动不了东西了怎么办Mar 07, 2023 am 10:03 AM

ai移动不了东西的解决办法:1、打开ai软件,打开空白文档;2、选择矩形工具,在文档中绘制矩形;3、点击选择工具,移动文档中的矩形;4、点击图层按钮,弹出图层面板对话框,解锁图层;5、点击选择工具,移动矩形即可。

强化学习再登Nature封面,自动驾驶安全验证新范式大幅减少测试里程强化学习再登Nature封面,自动驾驶安全验证新范式大幅减少测试里程Mar 31, 2023 pm 10:38 PM

引入密集强化学习,用 AI 验证 AI。 自动驾驶汽车 (AV) 技术的快速发展,使得我们正处于交通革命的风口浪尖,其规模是自一个世纪前汽车问世以来从未见过的。自动驾驶技术具有显着提高交通安全性、机动性和可持续性的潜力,因此引起了工业界、政府机构、专业组织和学术机构的共同关注。过去 20 年里,自动驾驶汽车的发展取得了长足的进步,尤其是随着深度学习的出现更是如此。到 2015 年,开始有公司宣布他们将在 2020 之前量产 AV。不过到目前为止,并且没有 level 4 级别的 AV 可以在市场

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
1 个月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

螳螂BT

螳螂BT

Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)