搜索
首页科技周边人工智能谷歌RT-1模型让一个机器人干几份活,700条指令成功率达97%

机器学习 (ML) 研究的多个子领域(如计算机视觉和自然语言处理)的许多最新进展,都是建立在利用大型、多样化的数据集和能够有效吸收所有数据的表达模型。

但这种高性能模型方法在机器人技术领域的应用却相对较少。

原因很简单,首先缺乏大规模和多样化的机器人数据,限制了模型吸收广泛机器人经验的能力。

其次,缺乏可从此类数据集中学习并有效泛化的表达力强、可扩展且速度足够快的实时推理模型。

而这次,谷歌推出的Robotics Transformer 1 (简称RT-1)是一种多任务模型,它可以标记机器人输入和输出动作(例如,相机图像、任务指令和电机命令)以在运行时实现高效推理,并使实时控制成为可能。

图片

RT-1吸收了大量数据,让机器人胜任不同环境下的多种任务,从而提升机器性能和泛化能力

简单来说,就是让一个机器人同时干几份活。

该模型是在一个包含130k个episode的大型真实世界机器人数据集上训练的,该数据集涵盖700多项任务,使用Everyday Robots (EDR) 的13台机器人在17个月内收集而成。

结果表明,与现有技术相比,RT-1可以显著改进对新任务、环境和对象的零样本泛化。

Github链接小编也贴心地放在下面啦,有兴趣的小伙伴赶紧去看看。

图片

​https://github.com/google-research/robotics_transformer​

RT-1模型具体原理

RT-1建立在Transformer架构上,它能从机器人的相机中获取图像历史记录并以自然语言表达的任务描述作为输入,同时直接输出标记化的动作。

RT-1的架构类似于仅解码器序列模型(decoder-only sequence model)的架构,该模型针对具有因果掩蔽的标准分类交叉熵目标进行训练。

图片

该模型将文本指令和一组图像作为输入,通过预训练的 FiLM EfficientNet 模型将它们编码为标记,并通过 TokenLearner 对其进行压缩,然后经Transformer输出动作标记。

其主要功能包括:图像词元化(Image Tokenization)、动作词元化(Action Tokenization)和词元压缩(Token Compression )。

  • 图像tokenization:我们通过在 ImageNet 上预训练的 EfficientNet-B3 模型传递图像,然后将生成的 9×9×512 空间特征图展平为81个标记。图像分词器以自然语言任务指令为条件,并使用初始化为身份的 FiLM 层在早期提取与任务相关的图像特征。
  • 动作tokenization:机器人的动作维度是手臂运动的 7 个变量(x、y、z、滚动、俯仰、偏航、夹具打开),3 个基本运动变量(x、y、偏航),以及一个额外的离散变量在三种模式之间切换。
  • Token压缩:该模型自适应地选择图像Token的软组合,这些组合可以根据它们对使用元素注意模块TokenLearner 进行学习的影响进行压缩,从而使推理速度提高2.4倍以上。

图片

我们使用人类通过远程操作提供的演示,并用机器人执行指令的文本描述对每一集进行注释。

而这个机器人执行任务靠的是,「7个自由度的手臂、一个两指夹持器和一个移动底座」。

数据集中表示的一组高级技能包括拾取和放置物品、打开和关闭抽屉、将物品放入和取出抽屉、将细长的物品直立放置、将物体打翻等操作。

整合异质数据源

为进一步推动RT-1,我们使用从另一个机器人收集的数据对其进行训练,以测试 (1) 模型在出现新数据源时是否保持其在原始任务上的性能,以及 (2) 模型是否在泛化方面得到提升具有新的和不同的数据。

我们转换收集的数据以匹配我们使用EDR收集的原始数据集的动作规范和边界,并用任务指令标记每个数据集。

然后在每个训练批次中将Kuka数据与EDR数据以1:2的比例混合,以控制原始EDR技能的回归。

图片

图为从多个机器人收集数据时的训练方法

结果表明,RT-1能够通过观察其他机器人的经验来获得新技能。

当RT-1在Kuka的垃圾箱拣选数据和机器人教室的现有EDR数据上进行训练时,仅使用 EDR 数据进行训练时的22% 「准确率跃升了近2倍」,达到39%。

图片

当单独使用来自Kuka的拣选数据训练RT-1,并使用来自EDR机器人的拣选数据对其进行评估时,准确率为0%。

实验结果

为更好地理解RT-1的泛化能力,我们针对三个基线研究了它的性能:Gato、BC-Z和BC-Z XL(即与 RT-1 具有相同数量参数的 BC-Z)。

并将其分为四个类别:

图片

图为测试环境下RT-1与对照组的表现

  • 可见任务表现(Seen tasks performance):在训练期间观测的任务表现;
  • 不可见任务表现(Unseen tasks performance):在看不见的任务上的表现,其中技能和对象在训练集中是分开的;
  • 稳健性(Robustness):在干扰因素介入期间的性能和背景变化(新厨房、照明、背景场景)的性能表现
  • 远景场景(long-horizon scenarios):真实厨房中SayCan类自然语言指令的执行

RT-1 的高性能和泛化能力可以通过SayCan实现远距离、移动操作任务。

SayCan的工作原理是将语言模型置于机器人可供性中,并利用少量提示将以自然语言表达的长期任务分解为一系列低级技能。

我们在两个真实厨房中使用RT-1和其他两个基线(SayCan with Gato 和 SayCan with BC-Z)评估SayCan。

下面,“Kitchen2”构成了比“Kitchen1”更具挑战性的泛化场景。用于收集大部分训练数据的模拟厨房是在 Kitchen1 之后建模的。

图片

可以看到,SayCan with RT-1在 Kitchen1中的执行成功率为 67%,优于其他基线。

由于新的看不见的厨房带来的泛化困难,SayCan with Gato 和 SayCan with BCZ 的性能下降,但RT-1的成功率并没有因此下降。

以上是谷歌RT-1模型让一个机器人干几份活,700条指令成功率达97%的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
高维数据的高级矢量索引技术高维数据的高级矢量索引技术Apr 11, 2025 am 10:16 AM

高维矢量搜索:掌握高级索引技术 在当今的数据驱动世界中,高维矢量对于推荐系统,图像识别,自然语言处理(NLP)和异常等应用至关重要

用OpenAI' s剪辑VIT-L14进行零击图像分类用OpenAI' s剪辑VIT-L14进行零击图像分类Apr 11, 2025 am 10:04 AM

Openai的剪辑(对比语言 - 图像预训练)模型,特别是剪辑VIT-L14变体,代表了多模式学习和自然语言处理的重大进步。 这个强大的计算机视觉系统在represe上表现出色

建立没有代码的AI代理的7个步骤-Analytics Vidhya建立没有代码的AI代理的7个步骤-Analytics VidhyaApr 11, 2025 am 10:03 AM

利用AI代理的功能使用Wordware:无需轻松AI代理创建的无代码平台。 人工智能代理人正在彻底改变我们与计算机互动,自动化任务和简化决策的方式。 该博客演示了如何构建

手机上的LLM:现在和将来的可能性 - 分析Vidhya手机上的LLM:现在和将来的可能性 - 分析VidhyaApr 11, 2025 am 09:58 AM

生成AI:下一个智能手机战场 智能手机行业陷入了激烈的竞争中:整合先进的生成AI的竞赛。 从增强用户互动到提高生产率,赌注很高。苹果的iPhone 16

在2025年遵循的十大生成AI子列表 - 分析Vidhya在2025年遵循的十大生成AI子列表 - 分析VidhyaApr 11, 2025 am 09:51 AM

生成AI:您的10个基本Reddit社区的指南 生成的AI正在迅速发展,新模型不断出现。 保持更新至关重要,Reddit提供专门针对该领域的充满活力的社区。本文凸显了T

AI模型中的主要挑战和局限性 - 分析VidhyaAI模型中的主要挑战和局限性 - 分析VidhyaApr 11, 2025 am 09:44 AM

介绍 人工智能(AI)已迅速整合到各种工作场所中,这是由于AI研发和开发的大量投资所推动。 AI的应用程序范围很广,从虚拟助手等简单任务到com

处理SQL中的无效值处理SQL中的无效值Apr 11, 2025 am 09:37 AM

介绍 在数据库的领域中,零值通常会带来独特的挑战。 代表缺失,未定义或未知数据,它们可能使数据管理和分析复杂化。考虑一个缺少客户反馈或orde的销售数据库

如何将Google Gemini集成到Tableau仪表板中?如何将Google Gemini集成到Tableau仪表板中?Apr 11, 2025 am 09:27 AM

利用Google Gemini在Tableau仪表板上的力量:AI驱动的增强 Tableau的强大可视化功能,跨越数据准备(Tableau Prep Builder),数据讲故事(Tableau Desktop)和协作共享(TABL)

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
3 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

EditPlus 中文破解版

EditPlus 中文破解版

体积小,语法高亮,不支持代码提示功能

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)