清华大学交叉信息研究院的研究者提出了名为"GenH2R"的框架,该框架旨在让机器人学习通用的基于视觉的人机交接策略。这种策略使得机器人能够更可靠地接住各种形状多样、运动轨迹复杂的物体,为人机交互带来了新的可能性。这项研究为人工智能领域的发展提供了重要的突破,为机器人在现实场景中的应用带来了更大的灵活性和适应性。
随着具身智能(Embodied AI)时代的来临,我们期待智能体能主动与环境进行交互。在这个过程中,让机器人融入人类生活环境、与人类进行交互(Human Robot Interaction)变得至关重要。我们需要思考如何理解人类的行为和意图,以最符合人类期望的方式满足其需求,将人类放在具身智能的中心(Human-Centered Embodied AI)。其中一个关键的技能是可泛化的人机交接(Generalizable Human-to-Robot Handover),它使机器人能够更好地与人类合作,完成各种日常通用任务,如烹饪、居室整理和家具组装等。
大模型的火爆发展预示着海量高质量数据+大规模学习是走向通用智能的一种可能方式,那么能否通过海量机器人数据与大规模策略模仿获取通用人机交接技能?然而,若考虑在现实世界中让机器人与人类进行大规模交互学习是危险且昂贵的,机器很有可能会伤害到人类:
在仿真环境中进行训练,并利用人物仿真和动态抓取运动规划来自动化提供大量多样的机器人学习数据,然后将这些数据应用到真实机器人上,这种基于学习的方法被称为"Sim-to-Real Transfer",它能够显著提升机器人与人类之间的协作交互能力,并且具有更高的可靠性。
因此,「GenH2R」框架被提出,分别从仿真(Simulation),示例(Demonstration),模仿(Imitation)三个角度出发,让机器人第一次基于端到端的方式学习对任意抓取方式、任意交接轨迹、任意物体几何的通用交接:1)在「GenH2R-Sim」环境中提供了百万级别的易于生成的各种复杂仿真交接场景,2)引入一套自动化的基于视觉 - 动作协同的专家示例(Expert Demonstrations)生成流程,3)使用基于 4D 信息和预测辅助(点云 + 时间)的模仿学习(Imitation Learning)方法。
与SOTA方法(CVPR2023 Highlight)相比,GenH2R的方法在各种测试集上的平均成功率提高了14%,时间缩短了13%,并且在真机实验中表现更加稳健。
- 论文地址:https://arxiv.org/abs/2401.00929
- 论文主页:https://GenH2R.github.io
- 论文视频:https://youtu.be/BbphK5QlS1Y
方法介绍
为了帮助尚未通关的玩家,让我们一起了解一下“仿真环境(GenH2R-Sim)”的具体解谜方法吧。
为了生成高质量、大规模的人手 - 物体数据集,GenH2R-Sim 环境从抓取姿势和运动轨迹两方面对场景建模。
在抓取姿势方面,GenH2R-Sim 从 ShapeNet 中引入了丰富的 3D 物体模型,从中挑选出 3266 个适合交接的日常物体,使用灵巧抓取的生成方法(DexGraspNet),总共生成了 100 万个人手抓住物体的场景。在运动轨迹方面,GenH2R-Sim 使用若干控制点生成多段光滑的 Bézier 曲线,并引入人手和物体的旋转,模拟出手递物体的各种复杂运动轨迹。
GenH2R-Sim 的 100 万场景中,不仅在运动轨迹(1 千 vs 100 万)、物体数量(20 vs 3266)两方面远超之前最新工作,此外,还引入了接近真实情境的互动信息(如机械臂足够靠近物体时,人会配合停止运动,等待完成交接),而非简单的轨迹播放。尽管仿真生成的数据不能完全逼真,但实验结果表明,相比小规模的真实数据,大规模的仿真数据更有助于学习。
B. 大规模生成利于蒸馏的专家示例
基于大规模的人手和物体运动轨迹数据,GenH2R 自动化地生成了大量专家示例。GenH2R 寻求的 “专家” 是经过改进后的 Motion Planner(如 OMG Planner),这些方法是非学习、基于控制优化的,不依赖于视觉的点云,往往需要一些场景状态(比如物体的目标抓取位置)。为了确保后续的视觉策略网络能够蒸馏出有益于学习的信息,关键在于确保 “专家” 提供的示例具有视觉 - 动作相关性(Vision-action correlation)。规划时如果知道最后落点,那么机械臂可以忽略视觉而直接规划到最终位置 “守株待兔”,这样可能会导致机器人的相机无法看到物体,这种示例对于下游的视觉策略网络并没有任何帮助;而如果频繁地根据物体位置进行重新规划,可能会导致机械臂动作不连续,出现奇怪的形态,无法完成合理的抓取。
为了生成出利于蒸馏(Distillation-friendly)的专家示例,GenH2R 引入了 Landmark Planning。人手的运动轨迹会按照轨迹光滑程度和距离被分成多段,以 Landmark 作为分割标记。在每一段中,人手轨迹是光滑的,专家方法会朝着 Landmark 点进行规划。这种方法可以同时保证视觉 - 动作相关性和动作连续性。
C. 以预测为辅助的 4D 模仿学习网络
基于大规模专家示例,GenH2R 使用模仿学习的方法,构建 4D 策略网络,对观察到的时序点云信息进行几何和运动的分解。对于每一帧点云,通过迭代最近点算法(Iterative Closest Point)计算和上一帧点云之间的位姿变换,以估计出每个点的流(flow)信息,使得每一帧点云都具有运动特征。接着,使用 PointNet++ 对每一帧点云编码,最后不仅解码出最终需要的 6D egocentric 动作,还会额外输出一个物体未来位姿的预测,增强策略网络对未来手和物体运动的预测能力。
不同于更加复杂的 4D Backbone(例如 Transformer-based),这种网络架构的推理速度很快,更适用于交接物体这种需要低延时的人机交互场景,同时它也能有效地利用时序信息,做到了简单性和有效性的平衡。
实验
A. 仿真环境实验
GenH2R 和 SOTA 方法进行了各种设定下的比较,相比于使用小规模真实数据训练的方法,在 GenH2R-Sim 中使用大规模仿真数据进行训练的方法,可以取得显著的优势(在各种测试集上成功率平均提升 14%,时间上缩短 13%)。
在真实数据测试集 s0 中,GenH2R 的方法可以成功交接更复杂的物体,并且能够提前调整姿势,避免在夹爪靠近物体时再频繁进行姿势调整:
在仿真数据测试集 t0(GenH2R-sim 引入)中,GenH2R 的方法可以能够预测物体的未来姿势,以实现更加合理的接近轨迹:
在真实数据测试集 t1(GenH2R-sim 从 HOI4D 引入,比之前工作的 s0 测试集增大约 7 倍)中,GenH2R 的方法可以泛化到没有见过的、具有不同几何形状的真实世界物体。
B. 真机实验
GenH2R 同时将学到的策略部署到现实世界中的机械臂上,完成 “sim-to-real“的跳跃。
对于更复杂的运动轨迹(例如旋转),GenH2R 的策略展示出更强的适应能力;对于更复杂的几何,GenH2R 的方法更可以展现出更强的泛化性:
GenH2R 完成了对于各种交接物体的真机测试以及用户调研,展示出很强的鲁棒性。
了解更多实验、方法内容,请参考论文主页。
团队介绍
该论文来自清华大学 3DVICI Lab、上海人工智能实验室和上海期智研究院,论文的作者为清华大学学生汪子凡(共同一作)、陈峻宇(共同一作)、陈梓青和谢鹏威,指导老师是弋力和陈睿。
清华大学三维视觉计算与机器智能实验室(简称 3DVICI Lab),是清华大学交叉信息研究院下的人工智能实验室,由弋力教授组建和指导。3DVICI Lab 瞄准人工智能最前沿的通用三维视觉与智能机器人交互问题,研究方向涵盖具身感知、交互规划与生成、人机协作等,与机器人、虚拟现实、自动驾驶等应用领域密切联系。团队研究目标是使智能体具备理解并与三维世界交互的能力,成果发表于各大顶级计算机会议、期刊上。
以上是让机器人感知你的「Here you are」,清华团队使用百万场景打造通用人机交接的详细内容。更多信息请关注PHP中文网其他相关文章!

由于AI的快速整合而加剧了工作场所的迅速危机危机,要求战略转变以外的增量调整。 WTI的调查结果强调了这一点:68%的员工在工作量上挣扎,导致BUR

约翰·塞尔(John Searle)的中国房间论点:对AI理解的挑战 Searle的思想实验直接质疑人工智能是否可以真正理解语言或具有真正意识。 想象一个人,对下巴一无所知

与西方同行相比,中国的科技巨头在AI开发方面的课程不同。 他们不专注于技术基准和API集成,而是优先考虑“屏幕感知” AI助手 - AI T

MCP:赋能AI系统访问外部工具 模型上下文协议(MCP)让AI应用能够通过标准化接口与外部工具和数据源交互。由Anthropic开发并得到主要AI提供商的支持,MCP允许语言模型和智能体发现可用工具并使用合适的参数调用它们。然而,实施MCP服务器存在一些挑战,包括环境冲突、安全漏洞以及跨平台行为不一致。 Forbes文章《Anthropic的模型上下文协议是AI智能体发展的一大步》作者:Janakiram MSVDocker通过容器化解决了这些问题。基于Docker Hub基础设施构建的Doc

有远见的企业家采用的六种策略,他们利用尖端技术和精明的商业敏锐度来创造高利润的可扩展公司,同时保持控制权。本指南是针对有抱负的企业家的,旨在建立一个

Google Photos的新型Ultra HDR工具:改变图像增强的游戏规则 Google Photos推出了一个功能强大的Ultra HDR转换工具,将标准照片转换为充满活力的高动态范围图像。这种增强功能受益于摄影师

技术架构解决了新兴的身份验证挑战 代理身份集线器解决了许多组织仅在开始AI代理实施后发现的问题,即传统身份验证方法不是为机器设计的

(注意:Google是我公司的咨询客户,Moor Insights&Strateging。) AI:从实验到企业基金会 Google Cloud Next 2025展示了AI从实验功能到企业技术的核心组成部分的演变,


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

Atom编辑器mac版下载
最流行的的开源编辑器

MinGW - 适用于 Windows 的极简 GNU
这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

禅工作室 13.0.1
功能强大的PHP集成开发环境

WebStorm Mac版
好用的JavaScript开发工具