智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

轻宇大大_5131

轻宇大大_5131

2026-11-14

985人浏览

原创

近日,智元agibot发布终身具身智能框架life(learningto live: a step toward lifelong embodiedintelligence),该框架将持续感知、长期记忆与能力复用结合,用于支持机器人在任务执行期间及任务间隔期获取环境信息,并将历史观察用于后续决策。相关论文、项目主页、robobeats系列模型(0.8b/ 2b / 4b)推理代码与权重,以及sss-bench评测资源已开放。

所谓“终身”,与传统具身智能框架的差别在调度单位:传统具身智能系统以单个任务为中心,接收指令、感知、规划、执行,任务结束即重置状态。但在任务执行期间及任务之间,物理环境仍在持续变化。LIFE通过持续监测环境、选择性保存观察并复用任务解决方法,探索机器人如何积累和利用跨任务的方法。

在“理解指令—调用工具—等待结果”的流程中,工具执行期间的环境变化可能影响后续行动。LIFE在此基础上增加了持续运行的感知与记忆链路,使系统能够在工具运行时跟踪相关条件,并将值得记录的变化保存为可检索的历史信息。

框架由三部分协同构成:轻量决策模型“RoboBeats”负责条件跟踪与事件发现,判断何时需要触发响应或记忆写入;可塑性记忆模块“PlasticMemory”保存选中的原始画面及结构化记录;能力复用机制“EDM”(Explore–Distill–Mount,探索—提炼—挂载)将问题求解过程中形成的方法转化为经过验证的工具与技能。三个模块与多模态大模型驱动的智能体协同运行。

据智元远征ResearchTeam 介绍,LIFE旨在使机器人在未接收到指令时保持环境感知,积累历史记录,并在新的问题出现时调用已有经验。

智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

图1|LIFE整体架构:持续观察、主动感知、可塑性记忆与自主学习四部分围绕智能体协同工作。来源:论文。

01/三项能力协同,让机器人持续在线

单次任务完成度反映机器人在特定指令下的执行表现。LLIFE则进一步研究跨任务的信息积累与调用,关注系统在未接收到新指令时的环境监测,以及相关观察在后续问答和行动中的应用。

这一转向的工程前提在端侧。RoboBeats通过轻量判断筛选需要进一步处理的画面,减少大模型逐帧完整分析的需求;同时复用历史计算缓存,降低连续观察中的重复计算开销。单张RTX5090 上,RoboBeats-2B处理一帧新画面的延迟约为75毫秒;同时检测16个条件时,延迟约为77毫秒。在该测试设置下,增加检测条件数量未显著增加延迟,为系统持续运行提供了性能支持。

心跳:RoboBeats,未接收指令时持续感知

RoboBeats是一个轻量决策模型(DecisionModel),支持0.8B、2B和4B三种参数规模。模型不逐帧生成文本回答,而是读取true/ false 标签的得分,判断自然语言描述的条件是否成立。多个条件共享视觉输入和历史计算缓存,各自维护预测状态。

执行任务时,智能体可设置持续监测的条件,例如“电梯门是否打开”“抓取动作是否完成”。在没有新任务指令时,系统仍可检测新事件,筛选值得记录的观察,再由写入模型生成描述并保存相应画面。团队将这种持续感知机制称为“心跳”。

在StreamingBench的主动输出任务(PO)上,以参考时刻前后2秒内首次触发的准确率为指标,RoboBeats-4B从21.2%提升至64.0%;在SPOT-Bench上,动作边界检测的F1分数(百分制)从26.4提升至45.8。

智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

图2|RoboBeats复用同一条视频流,同时对多个条件输出成立概率。来源:论文图4。

智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

图3|条件成立即行动:大图为第三人称视角,小窗为机器人第一视角。来源:智元远征ResearchTeam 实拍。

记忆:可塑性记忆,将观察过程保存为可检索记录

由于采集时难以预判哪些细节将用于后续任务,可塑性记忆分别保存原始画面和当前解析结果:原图保留现场信息,结构化记录(JSON)保存时间、位置、人物与物品等线索。执行智能体通过工具快速检索已有记录;具备文件读取和编程能力的编程智能体,则可回看原图、提取新信息,并补充字段与索引。

这一机制使记忆既支持历史信息检索,也可根据后续需求更新。例如,系统最初保存的门口画面未记录房间号,后续需要按房间号检索时,可重新分析原图,提取门牌文字并补充索引。

在基于24小时真机录像的案例研究中,远征A3Ultra 连续采集一天的第一视角视频,团队随后通过离线回放构建记忆,并开展历史信息问答。以12时30分为提问时点,在被问及外套最后出现的位置时,系统检索到12时18分外套位于茶水间椅背上的记录,并展示对应历史画面及拍摄位置。在判断会议室两只杯子的归属时,系统结合人物到场和杯子使用记录,找到绿色杯子的归属依据;由于黑色杯子在参会者到场前已出现,系统未将其归属于某位参会者。

团队围绕当天记录设置了6个问题,每题测试3次。在使用相同的GPT-6.1-sol问答模型的条件下,LIFE得分为29.5/30分,平均回答用时80.6秒;同样获得已构建记忆的CodexB 对照组得分为28.5/30分,平均回答用时554.7秒。

智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

图4|可塑性记忆:保留画面、时间与位置,日后可回看并提取新线索。来源:论文。

智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

图5|一天的录像构建为记忆后,回答人物、物品与活动相关问题。来源:论文。

自进化:探索形成的方法,转化为可复用工具

EDM(探索—提炼—挂载)沿用前作ReSight的机制。当现有工具无法解决问题时,编程智能体查看历史记录、编写程序,探索检索与去重方法;验证有效后,将相关方法提炼并挂载至系统工具库,供后续任务直接调用。这一能力扩展发生在程序、工具接口与技能层面,不要求基础模型在每次任务后更新参数。

在FindingDory实验中,挂载EDM构建的能力后,系统在597个未参与能力构建的查询上,成功率从37.5%提升至65.8%,提升28.3个百分点、相对提升约75%。其中,37.5%为未挂载EDM时在同一批查询上的结果。

智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

图7|EDM:探索—提炼—挂载,把摸索出的办法沉淀成可复用的能力。来源:论文图12。

02/六组基准测试与全天实验,验证持续在线

论文分别评估了条件跟踪、历史记忆问答和能力复用。不同测试采用各自的指标与比较设置,主要结果如下:

●端侧运行性能:RoboBeats-2B在单张RTX5090 上处理一帧新画面的延迟约为75毫秒,同时检测16个条件时约为77毫秒。

●主动感知:在StreamingBench主动输出任务(PO)中,以参考时刻前后2秒内首次触发的准确率为指标,RoboBeats-4B的结果从21.2%提升至64.0%。

●动作边界检测:在SPOT-Bench中,动作边界检测的F1分数(百分制)从26.4%提升至45.8%。

●记忆有效性:在SSS-Bench(171段视频/618 个问题)中,仅凭文本记忆作答,且写入画面数量、写入模型和问答模型相同的条件下(论文表15),采用RoboBeats-2B的方案问答准确率从40.9%提升至60.5%,提高19.6个百分点。

●回溯问答:在OVO-Bench回溯问答子集中,仅使用文本记忆时,情景记忆和动作序列识别相关指标分别提升6.2和6.1个百分点;写入端输入token数量减少约45%。

●长时记忆与能力复用:在FindingDory的597个未参与能力构建的查询上,成功率从37.5%提升至65.8%。

●24小时真机实验:设置6个问题,每题测试3次。在使用相同的GPT-6.1-sol问答模型的条件下,LIFE得分为29.5/30分,平均用时80.6秒;对照组Codex得分为28.5/30分,平均用时554.7秒。

注:SSS-Bench的60.5%为仅凭文本记忆作答、写入画面数量相同、使用相同写入与问答模型条件下的问答准确率,不等同于“记忆准确率”。

智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

图6|从持续感知到记忆问答的六组基准结果。来源:论文图1。

智元发布终身具身智能框架LIFE,让机器人无指令也能持续感知世界

图8|SSS-Bench各类问题的问答准确率。来源:论文图10。

03/论文、代码与模型同步开源,开发者当天可复现

LIFE论文、项目主页、代码与RoboBeats三种参数规模的模型已同步开放,供开发者开展研究与复现。

●论文:Learningto Live: A Step Toward Lifelong Embodied Intelligence

●项目主页:agibotgeneral.github.io/life-site

●代码:GitHub· AgibotTech/LIFE

●模型:RoboBeats-0.8B、RoboBeats-2B、RoboBeats-4B

此次发布是智元面向机器人持续运行与经验利用的一项技术探索。LIFE将持续感知、历史记忆与工具复用纳入同一框架,将研究范围从单次任务执行延伸至跨任务的信息积累与调用。论文提出,后续研究需进一步结合长期目标与自主行动,并通过多日在线部署和动态仿真,评估系统在持续变化环境中的记忆更新、决策与运行可靠性。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

40

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

40

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

20

15

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

2026.11.06

140

12

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

2026.11.06

100

13

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

2026.11.06

100

10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

2026.11.05

80

12

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

2026.11.05

80

12

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

2026.11.04

80

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习