搜索
首页科技周边人工智能伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

随着人工智能和机器人技术的迅速发展,功能操控(Functional Manipulation)在机器人学中的重要性愈加突出。传统的基准测试已无法满足目前机器人对复杂操控任务的需求,呼吁新的操控基准(Functional Manipulation Benchmark)出现。

概述

机器人操控面临两个主要挑战:机器人如何智能地处理复杂的接触动力学以及如何应对环境和物体的多样性。针对这些挑战,机器人学习技术被视为关键的解决手段。因此,该领域需要一个全面易得的框架,提供有挑战性的实际任务、高质量数据、易于复制的设置,集合了基线结果的相关方法,基于该框架,研究人员能够对所提出任务的实验发现进行深入分析。

加州大学伯克利分校智能机器人实验室(RAIL)的研究团队提出了如上所述的现实世界基准,称为 FMB(Functional Manipulation Benchmark for Generalizable Robotic Learning)。

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

  • 项目主页:https://functional-manipulation-benchmark.github.io/
  • 论文地址:https://arxiv.org/abs/2401.08553
  • 论文题目:FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning
  • 共同第一作者主页:https://people.eecs.berkeley.edu/~jianlanluo/
  • https://charlesxu0124.github.io/

FMB 具有以下特点:

  • 创新设计:采用了 3D 打印技术制作任务中的物体,来考验机器人的泛化能力,这种方法也便于其他研究人员复现。
  • 多样化任务:包含单物体和多物体多阶段操控任务,真实模拟日常环境中的挑战。
  • 大型数据集:通过大量人工演示,为机器人提供了丰富的数据集。
  • 模仿学习基线:使用最先进的机器学习方法,提供了基线结果和模块化组件以供其他研究者使用。

物体和任务

FMB 中的任务大致分为两类:单物体多步骤操控任务和多物体多步骤操控任务。这些任务旨在测试机器人的基本技能,如抓取、重新定位和装配等,这些都是完成整个任务所必需的技能。FMB 中的任务要求机器人不仅能完成单一的操控技能,还要求机器人能够将这些技能组合起来,完成更为复杂的多步骤任务。

FMB 的任务设计灵活多变,研究人员可以根据需要选择专注于单一技能,深入研究机器人的操控能力,也可以研究完整的多步骤任务,这需要机器人进行长期规划并具备从失败中恢复的能力。由于涉及选择合适的物体并推理操控物体的顺序,更为复杂的多步骤任务要求机器人能够做出复杂的实时决策。

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

大型数据集

在机器人学习的过程中,数据的作用不可小觑。为了使机器人更好地理解和掌握复杂的任务,研究团队收集了一个涵盖上述任务的大规模专家人类示范数据集,包含超过两万个操作轨迹。研究团队采用了四个不同的摄像机记录这些示范数据,其中两个摄像机安装在机器人的腕部,另外两个提供全局视角。这些摄像机捕捉了对于机器人学习解决任务至关重要的 RGB 彩色图像信息、深度信息等数据。

此外,数据集还记录了机器人末端执行器的力 / 扭矩信息,这对于像装配这样需要接触大量物体的的任务非常重要。通过这些丰富的数据,机器人能够深入理解任务的每个细节,更加精确地模仿人类的操作技巧。正是由于数据的深度和广度,为机器人学习提供了坚实的基础。这使得机器人在执行复杂任务时,能够更加人性化和更灵巧地对任务作出响应。

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

模仿学习基线

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

基线策略的架构图。

基于 Transformer 和 ResNet 的两种模型都使用了共享权重的 ResNet 编码器对每个图像视图进行编码,然后与本体感知信息和可选的物体和相应的机器人技能编码特征结合,以预测 7 自由度的动作。

FMB 的实验部分对模仿学习系统的性能进行了一系列测试,比较了不同的学习方法,探究了不同输入模式和设计决策的影响。实验发现,使用深度信息有助于提高抓取策略的效果,力 / 扭矩信息对于装配任务非常重要。对于多步骤任务,传统的 ResNet、Transformer 和 Diffusion 方法均未能奏效,但该论文中提出的分级控制 (hierarchical control) 方法显示出了潜力。

抓取任务

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

实验结果显示,纳入深度信息的 ResNet 策略在抓取任务中的性能一致优于仅使用 RGB 信息的策略。通过数据削减研究,研究团队探究了不同数量的训练数据对抓取任务性能的影响。结果显示,纳入深度信息的 ResNet 策略在处理已见物体时的性能将随着训练数据量的增加而提升。值得注意的是,该策略对未见过的物体表现出了与已见物体相近的性能,这表明训练对象的多样性极大地促进了机器人的泛化能力。

装配任务

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

在装配任务中,力 / 扭矩信息的重要性得到了证实。力 / 扭矩信息对于机器人采取的策略判断物体是否已经接触到目标表面,并有效进行搜索等行为非常重要。

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

然而,当策略在所有物体上进行训练时,机器人并不总是能够成功地完成装配任务。这是因为策略需要首先判断应将物体装配到哪个孔中,然后再生成相应的动作,这大大增加了任务的复杂性。为了解决这个问题,研究团队在策略中添加了一个选取物体机制,帮助策略确定需要装配的物体的形状,从而专注于生成正确的装配动作。

多步骤任务

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

FMB 的框架包含了两项复杂任务。这些复杂任务要求机器人能够像人类一样连续完成多个步骤。此前的方法是让机器人学习整个过程,但这种方法容易因为单一环节的错误而不断累计误差,最后导致整个任务失败。无论是在单物体还是多物体操控任务中,这种方法的成功率均为 0/10。

针对累积误差问题,研究团队采用了分层控制策略。分层策略通过将任务分解成若干小块,每完成一块便相当于通过一个决策点,即使出现错误也能迅速纠正,避免影响后续环节。例如,如果机器人在抓取过程中未能稳固抓住物体,它会持续尝试直至成功。

研究团队测试了两种分层方法,第一种方法为单一策略提供指示任务类型的有效向量,而第二种方法则是针对每个操控技能单独训练不同的策略,均采用了操作员的指令作为上层策略,在测试中,研究团队发现这两种方法均表现优异。

测试结果显示了分层方法在处理复杂机器人任务中的有效性,并为未来研究提供了新的研究方向。

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

如上图所示,机器人在学习后能够自主进行功能操控。

伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

总的来说,以上实验展示了研究团队在机器人学习领域的技术创新,也验证了 FMB 是适合开发先进机器人学习方法的基准。研究团队研究期待未来的研究可以在 FMB 基础上进一步推动机器人学习的边界。

以上是伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:机器之心。如有侵权,请联系admin@php.cn删除
最新的最佳及时工程技术的年度汇编最新的最佳及时工程技术的年度汇编Apr 10, 2025 am 11:22 AM

对于那些可能是我专栏新手的人,我广泛探讨了AI的最新进展,包括体现AI,AI推理,AI中的高科技突破,及时的工程,AI培训,AI,AI RE RE等主题

欧洲的AI大陆行动计划:Gigafactories,Data Labs和Green AI欧洲的AI大陆行动计划:Gigafactories,Data Labs和Green AIApr 10, 2025 am 11:21 AM

欧洲雄心勃勃的AI大陆行动计划旨在将欧盟确立为人工智能的全球领导者。 一个关键要素是建立了AI Gigafactories网络,每个网络都有大约100,000个高级AI芯片 - 2倍的自动化合物的四倍

微软的直接代理商故事是否足以创造更多的粉丝?微软的直接代理商故事是否足以创造更多的粉丝?Apr 10, 2025 am 11:20 AM

微软对AI代理申请的统一方法:企业的明显胜利 微软最近公告的新AI代理能力清晰而统一的演讲给人留下了深刻的印象。 与许多技术公告陷入困境不同

向员工出售AI策略:Shopify首席执行官的宣言向员工出售AI策略:Shopify首席执行官的宣言Apr 10, 2025 am 11:19 AM

Shopify首席执行官TobiLütke最近的备忘录大胆地宣布AI对每位员工的基本期望是公司内部的重大文化转变。 这不是短暂的趋势。这是整合到P中的新操作范式

IBM启动具有完整AI集成的Z17大型机IBM启动具有完整AI集成的Z17大型机Apr 10, 2025 am 11:18 AM

IBM的Z17大型机:集成AI用于增强业务运营 上个月,在IBM的纽约总部,我收到了Z17功能的预览。 以Z16的成功为基础(于2022年推出并证明持续的收入增长

5 Chatgpt提示取决于别人并完全相信自己5 Chatgpt提示取决于别人并完全相信自己Apr 10, 2025 am 11:17 AM

解锁不可动摇的信心,消除了对外部验证的需求! 这五个CHATGPT提示将指导您完全自力更生和自我感知的变革转变。 只需复制,粘贴和自定义包围

AI与您的思想危险相似AI与您的思想危险相似Apr 10, 2025 am 11:16 AM

人工智能安全与研究公司 Anthropic 最近的一项[研究]开始揭示这些复杂过程的真相,展现出一种令人不安地与我们自身认知领域相似的复杂性。自然智能和人工智能可能比我们想象的更相似。 窥探内部:Anthropic 可解释性研究 Anthropic 进行的研究的新发现代表了机制可解释性领域的重大进展,该领域旨在反向工程 AI 的内部计算——不仅仅观察 AI 做了什么,而是理解它在人工神经元层面如何做到这一点。 想象一下,试图通过绘制当有人看到特定物体或思考特定想法时哪些神经元会放电来理解大脑。A

龙翼展示高通的边缘动力龙翼展示高通的边缘动力Apr 10, 2025 am 11:14 AM

高通的龙翼:企业和基础设施的战略飞跃 高通公司通过其新的Dragonwing品牌在全球范围内积极扩展其范围,以全球为目标。 这不仅仅是雷布兰

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
3 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用