7月2日，开源强化学习基础设施项目 areal 正式推出 2.0 版本。areal 的核心目标是弥合基础大模型训练与前沿智能体（agent）应用之间的鸿沟，为各类 agent 场景提供高性能、可落地的强化学习训练支持。
本次发布的 AReaL 2.0 面向已深度融入实际业务流程的 Agent，构建了一套支撑其“边用边学”的系统级基础设施。借助 AReaL 2.0，Agent 在执行真实任务过程中产生的完整交互轨迹——包括用户输入、规划路径、工具调用、执行结果及用户反馈——均可被自动捕获、结构化处理，并无缝注入后续模型训练闭环，从而在保障安全与可控性的前提下，实现底层模型的持续进化与能力跃升。
当前，Agent 正加速落地于真实生产环境：编写代码、检索知识、集成企业系统、调度第三方服务……承担的任务日益复杂多元。然而一个关键矛盾日益凸显：Agent 日复一日高效运转，却难以真正从实践中沉淀经验、实现自主成长。
在真实业务流中，Agent 实际积累了海量高价值行为数据：哪些策略执行顺畅，哪类工具调用频繁失败，用户为何中断对话，某次决策是否偏离最优路径。但这些信息往往仅以原始日志形式零散留存，缺乏统一治理机制，难以稳定、合规、可审计地转化为模型迭代的有效燃料。
AReaL 2.0 所聚焦的核心命题，正是破解 Agent 上线后“如何持续进化”的工程难题。开发者无需重构现有 Agent 架构，只需将其原本发往大语言模型的请求统一接入 AReaL 2.0 提供的标准化推理入口，即可激活整套在线强化学习（Online RL）能力。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
图说：AReaL2.0在线强化学习（Online RL）架构示意
以 Hermes Agent 为例：Hermes 仍按原有逻辑接收指令、分解任务、调用模型；AReaL 2.0 则在后台静默记录其关键决策链与执行轨迹，并结合任务终态反馈（如人工评分、自动评估指标或隐式奖励信号），将这些真实世界中的行为样本用于模型再训练。开发者亦可轻松替换为自有 Agent 和业务环境，复用同一套基础设施快速搭建专属在线学习 pipeline。
这意味着，Agent 的能力演进不再受限于“人工标注→离线训练→重新部署”的传统范式。真实场景中的多轮对话历史、工具调用序列、执行成败结果以及用户显/隐式反馈，均可成为驱动模型持续优化的动态数据源。
该能力对企业级应用尤为关键。企业工作流中的 Agent 面临高度动态的真实挑战：代码仓库持续更新、业务规则频繁调整、客户需求不断演化、内部系统与外部 API 也在持续迭代。若 Agent 能力上线即固化，将迅速丧失适应性。AReaL 2.0 正旨在填补从“能调用工具”到“善从实践中学习”之间缺失的关键一环。
当然，真实业务场景下的持续学习绝非简单粗暴的“数据采集+重训练”。Agent 可能接触源码、客户隐私、企业知识库及核心业务系统，因此训练链路必须内嵌严格的权限管控、字段级脱敏、数据沙箱隔离与全流程操作审计等安全机制。AReaL 2.0 在系统设计中创新引入面向 Agent 行为轨迹的数据代理（Data Proxy）模块，确保真实任务数据在进入训练流程前，已在可信边界内完成合规治理与可控流转。
AReaL 团队在技术报告中强调：推动自演进 Agent 落地的最大瓶颈，既非模型规模，也非算法先进性，而在于缺乏一套专为真实 Agent 场景定制的在线强化学习基础设施。AReaL 2.0 正是面向下一代智能体应用所进行的系统性架构升级——它将 Agent 服务层、真实任务轨迹采集、企业级数据治理体系与在线强化学习训练引擎有机整合，首次为 Agent 上线后的自主进化提供了坚实、可扩展、可治理的工程底座。
从更宏观视角看，AReaL 2.0 描绘的是未来智能体应用的新范式：Agent 不再是静态部署的一次性组件，而是具备感知环境、吸收反馈、沉淀经验、并在严格安全约束下实现能力闭环进化的“活系统”。
AReaL 项目由蚂蚁集团、清华大学、香港科技大学等单位于 2024 年联合发起。2026 年 5 月，该项目正式从蚂蚁 InclusionAI 孵化器独立，成为开放治理的社区驱动型开源项目，并成功纳入 PyTorch Foundation Ecosystem，深度融入全球主流强化学习技术生态。
随着社区自主发展，AReaL 已吸引华为云、MindLab 等产业与开源力量积极参与共建。未来，项目将持续聚焦在线强化学习稳定性提升、自动化评估体系构建、多模态智能体协同训练等方向，携手全球开发者共同推进自演进智能体生态的规模化落地。
目前，AReaL 2.0 全套技术报告与开源代码均已发布：
· GitHub 仓库：https://www.php.cn/link/f489c27798018a004cf82f5caa6a2bd6
· 技术报告：https://www.php.cn/link/fa9fea0b7b45adf3f5fed9c853f467a6
