近日,CVPR2022各项竞赛结果陆续公布, 字节跳动智能创作AI平台「Byte-IC-AutoML」团队在基于合成数据的实例分割挑战赛( Accessibility Vision and Autonomy Challenge ,下文简称AVA) 中,凭借自研的 Parallel Pre-trained Transformers (PPT) 框架脱颖而出,成为该比赛唯一赛道的冠军。
论文地址:https://www.php.cn/link/ede529dfcbb2907e9760eea0875cdd12
本届AVA竞赛由波士顿大学(Boston University)和卡耐基梅隆大学(Carnegie Mellon University)联合举办。
竞赛通过渲染引擎得到一个合成的实例分割数据集,其中包含与残疾行人交互的自治系统的数据样例。竞赛目标是为无障碍相关人与物提供目标检测和实例分割的基准和方法。
数据集可视化
竞赛难点分析
- 领域泛化问题:本次比赛数据集均为渲染引擎合成的图像, 数据 domain 和自然图像存在显著差异;
- 长尾/少样本问题:数据存在长尾分布, 如 "拐杖" 和 "轮椅" 类别在数据集中更少, 分割效果也更差;
- 分割鲁棒性问题:些类别的分割效果非常差, 实例分割 mAP 比目标检测分割 mAP 低 30
技术方案详解
Byte-IC-AutoML团队提出了一个Parallel Pre-trained Transformers (PPT)框架来完成。框架主要由三个模块组成:1)并行的大规模预训练的Transformers;2)Balance Copy-Paste 数据增强;3)像素级别的非极大值抑制和模型融合;
并行大规模预训练Transformers
最近很多的预训练文章表明,大规模数据集预训练的模型可以很好地泛化到不同的下游场景中。因此,团队使用 COCO 和BigDetection 数据集先对模型进行预训练,这可以较大程度地缓解自然数据和合成数据之间的领域偏差,以便可以在下游的合成数据场景中用较少的样本快速训练。在模型层面, 考虑到 Vision Transformers 没有 CNN 的归纳偏置, 更能享受预训练带来的好处,团队使用 UniFormer 和CBNetV2。UniFormer 统一了 convolution 和 self-attention,同时解决 local redundancy 和 global dependency 两大问题,实现高效的特征学习。CBNetV2 架构串接多个相同的主干分组,这些主干通过复合连接来构建高性能检测器。模型的主干特征提取器都是 Swin Transformer。多个大规模预训练的 Transformers 通过并行的方式排列,输出的结果进行集成学习输出最终的结果。
不同方法在验证数据集上的mAP
Balance Copy-Paste 数据增强
Copy-Paste技术通过随机粘贴对象为实例分割模型提供了令人印象深刻的结果,尤其是对于长尾分布下的数据集。然而,这种方法均衡地增加了所有类别的样本,并没能从根本上缓解类别分布的长尾问题。因此,团队提出了Balance Copy-Paste 数据增强方法。Balance Copy-Paste 根据类别的有效数量自适应地对类别进行采样,提高了整体的样本质量,缓解了样本数少和长尾分布的问题, 最终大幅提升了模型在实例分割上的 mAP。
Balance Copy-Paste数据增强技术带来的提升
像素级别的非极大值抑制和模型融合
验证集上的模型融合消融实验
测试集上的模型融合消融实验
目前,城市和交通数据集更多的是通用场景, 只包含正常的交通工具和行人,数据集中缺乏关于残疾人及行动不便的人, 以及其辅助设备的类别,利用当前已有数据集得到的检测模型无法检测出这些人与物体。
字节跳动Byte-IC-AutoML团队的这项技术方案,对目前自动驾驶和街道场景理解有广泛应用:经过这些合成数据得到的模型可以识别出“轮椅”,“在轮椅上的人”,“拄拐杖的人”等少见的类别,不但能更加精细地对人群/物体进行划分, 而且不会错判误判导致场景理解错误。此外, 通过这种合成数据的方式, 可以构造出真实世界中比较少见类别的数据, 从而训练更加通用, 更加完善的目标检测模型。
智能创作是字节跳动的多媒体创新科技研究所和综合型服务商。覆盖了计算机视觉、图形学、语音、拍摄编辑、特效、客户端、AI平台、服务端工程等技术领域,在部门内部实现了前沿算法-工程系统-产品全链路的闭环,旨在以多种形式向公司内部各业务线以及外部合作客户提供业界最前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。团队技术能力正通过火山引擎对外开放。
火山引擎是字节跳动旗下的云服务平台,将字节跳动快速发展过程中积累的增长方法、技术能力和工具开放给外部企业,提供云基础、视频与内容分发、大数据、人工智能、开发与运维等服务,帮助企业在数字化升级中实现持续增长。
以上是无障碍出行更安全!字节跳动研究成果获CVPR2022 AVA竞赛冠军的详细内容。更多信息请关注PHP中文网其他相关文章!

经常使用“ AI-Ready劳动力”一词,但是在供应链行业中确实意味着什么? 供应链管理协会(ASCM)首席执行官安倍·埃什肯纳齐(Abe Eshkenazi)表示,它表示能够评论家的专业人员

分散的AI革命正在悄悄地获得动力。 本周五在德克萨斯州奥斯汀,Bittensor最终游戏峰会标志着一个关键的时刻,将分散的AI(DEAI)从理论转变为实际应用。 与闪闪发光的广告不同

企业AI面临数据集成挑战 企业AI的应用面临一项重大挑战:构建能够通过持续学习业务数据来保持准确性和实用性的系统。NeMo微服务通过创建Nvidia所描述的“数据飞轮”来解决这个问题,允许AI系统通过持续接触企业信息和用户互动来保持相关性。 这个新推出的工具包包含五个关键微服务: NeMo Customizer 处理大型语言模型的微调,具有更高的训练吞吐量。 NeMo Evaluator 提供针对自定义基准的AI模型简化评估。 NeMo Guardrails 实施安全控制,以保持合规性和适当的

AI:艺术与设计的未来画卷 人工智能(AI)正以前所未有的方式改变艺术与设计领域,其影响已不仅限于业余爱好者,更深刻地波及专业人士。AI生成的艺术作品和设计方案正在迅速取代传统的素材图片和许多交易性设计活动中的设计师,例如广告、社交媒体图片生成和网页设计。 然而,专业艺术家和设计师也发现AI的实用价值。他们将AI作为辅助工具,探索新的美学可能性,融合不同的风格,创造新颖的视觉效果。AI帮助艺术家和设计师自动化重复性任务,提出不同的设计元素并提供创意输入。 AI支持风格迁移,即将一种图像的风格应用

Zoom最初以其视频会议平台而闻名,它通过创新使用Agentic AI来引领工作场所革命。 最近与Zoom的CTO XD黄的对话揭示了该公司雄心勃勃的愿景。 定义代理AI 黄d

AI会彻底改变教育吗? 这个问题是促使教育者和利益相关者的认真反思。 AI融入教育既提出了机遇和挑战。 正如科技Edvocate的马修·林奇(Matthew Lynch)所指出的那样

美国科学研究和技术发展或将面临挑战,这或许是由于预算削减导致的。据《自然》杂志报道,2025年1月至3月期间,美国科学家申请海外工作的数量比2024年同期增加了32%。此前一项民意调查显示,75%的受访研究人员正在考虑前往欧洲和加拿大寻找工作。 过去几个月,数百项NIH和NSF的拨款被终止,NIH今年的新拨款减少了约23亿美元,下降幅度接近三分之一。泄露的预算提案显示,特朗普政府正在考虑大幅削减科学机构的预算,削减幅度可能高达50%。 基础研究领域的动荡也影响了美国的一大优势:吸引海外人才。35

Openai推出了强大的GPT-4.1系列:一个专为现实世界应用设计的三种高级语言模型家族。 这种巨大的飞跃提供了更快的响应时间,增强的理解和大幅降低了成本


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

mPDF
mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

SublimeText3 Linux新版
SublimeText3 Linux最新版

VSCode Windows 64位 下载
微软推出的免费、功能强大的一款IDE编辑器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。

安全考试浏览器
Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。