Atoms多模型同时调用批量任务执行实现

浅伟同学_1768

浅伟同学_1768

2026-08-25

291人浏览

原创

必须显式声明并发执行上下文与资源隔离策略,否则langgraph自动串行化导致吞吐量归零;需升级langgraph≥0.1.47、封装atom为runnablelambda、用runnableparallel构建并发图、设stream_mode="values"并传入含batch_inputs键的字典。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

atoms多模型同时调用批量任务执行实现

要在elizaOS中实现Atoms多模型同时调用并批量执行任务,必须绕过单原子串行调度的默认行为,显式声明并发执行上下文与资源隔离策略,否则所有Atoms将被LangGraph自动串行化,导致吞吐量归零。

准备并发执行环境

进入elizaOS项目根目录,确认已激活支持异步I/O的Python环境(≥3.10),并检查LangGraph版本是否为≥0.1.47——旧版本不支持RunnableParallel在stateful graph中的嵌套调用。

运行pip install --upgrade langgraph==0.1.47,升级后验证:python -c "from langgraph.graph import RunnableParallel; print('OK')"。若报错AttributeError,则说明未升级成功,【必须重装】

创建concurrent_atoms.py文件,导入核心模块:from langgraph.graph import StateGraph, START, ENDfrom langgraph.prebuilt import ToolNode

定义可并发调用的Atoms

每个Atom必须封装为独立的RunnableLambda,且内部不得共享全局状态或mutable对象。例如:

方法一:封装本地模型Atom
定义atom_local_llm = RunnableLambda(lambda x: {"response": local_inference(x["input"])}),其中local_inference函数需使用torch.inference_mode()并显式指定device="cuda:0"——若漏写设备参数,PyTorch会默认加载到CPU,造成GPU空转。

方法二:封装API模型Atom
使用httpx.AsyncClient而非requests,构造atom_api_llm = RunnableLambda(lambda x: asyncio.run(call_remote_api(x["input"])))。注意:不能直接在lambda里用await,必须包裹进asyncio.run(),否则LangGraph调度器会阻塞整个事件循环。

Atoms
Atoms

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

下载

构建并发图结构

第一步:初始化状态图
graph = StateGraph(dict),该dict必须包含"batch_inputs"字段,用于接收批量输入列表。

第二步:注册并发节点
graph.add_node("parallel_invoke", RunnableParallel({"model_a": atom_local_llm, "model_b": atom_api_llm}))。此处键名"model_a""model_b"将成为输出字典的顶层key,不可重复或含空格。

第三步:设置边路逻辑
graph.add_edge(START, "parallel_invoke")graph.add_edge("parallel_invoke", END)。这一步不能省略箭头符号,LangGraph会因缺少END边而拒绝编译图实例。

第四步:编译并启用流式输出
app = graph.compile(stream_mode="values")。若不加stream_mode参数,批量执行时将等待全部Atom完成才返回结果,失去实时性优势。

执行批量任务

构造输入:必须是字典,且含"batch_inputs"键,值为长度≥2的列表,例如{"batch_inputs": ["query1", "query2", "query3"]}

调用执行:for output in app.stream({"batch_inputs": batch_list}): print(output)。每次迭代返回一个字典,形如{"model_a": {...}, "model_b": {...}},顺序与RunnableParallel中键声明顺序严格一致。

这一步操作起来很简单,直接把文件拖进去就行。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
AI视频生成软件推荐
AI视频生成软件推荐

本专题汇总了当前主流的AI视频生成软件推荐与排行榜单,涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比,助您快速选对适合创作需求的AI视频生成工具。

2026.09.16

140

9

ai生成视频的工具免费版合集
ai生成视频的工具免费版合集

本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单,涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异,助您快速选择合适工具开启AI视频创作。

2026.09.16

60

10

Pandas时间序列分析与可视化报表
Pandas时间序列分析与可视化报表

本专题整理Pandas日期转换、时间索引、重采样、滚动窗口、时区处理、plot绘图、Styler表格样式和报表输出方法。

2026.09.16

60

23

Pandas数据筛选索引与清洗处理
Pandas数据筛选索引与清洗处理

本专题整理Pandas中的loc、iloc、条件筛选、query查询、缺失值处理、重复值删除、类型转换和字符串列清洗方法。

2026.09.16

40

25

Pandas数据读取导入与文件导出处理
Pandas数据读取导入与文件导出处理

本专题整理Pandas读取CSV、Excel、JSON、SQL、Parquet等文件的方法,以及to_csv、to_excel、to_sql和to_parquet等常用数据导出流程。

2026.09.16

40

27

GDB怎么设置断点
GDB怎么设置断点

本专题介绍GDB按照函数名、源代码行号和文件位置设置断点的方法,详细说明run、continue、next、step等命令的配合使用,帮助定位程序崩溃、逻辑异常及代码未按预期执行的问题。

2026.09.11

360

28

GDB怎么查看变量值
GDB怎么查看变量值

本专题介绍GDB调试过程中查看变量值的具体方法,涵盖局部变量、函数参数、数组、结构体和指针内容查询,同时整理变量持续显示、格式化输出及无法读取变量时的排查思路。

2026.09.11

120

22

GDB C++程序怎么调试
GDB C++程序怎么调试

本专题围绕GDB调试C++程序的实际过程,详细说明程序编译、调试器启动、命令行参数传入、断点命中和程序继续运行等步骤,并介绍条件断点、临时断点和观察点的设置方法,方便开发者跟踪复杂代码的执行状态。

2026.09.11

140

20

Iris框架MVC架构与依赖注入合集
Iris框架MVC架构与依赖注入合集

本专题讲解Iris框架MVC开发模式,包含控制器注册、方法命名与路径映射、By参数绑定、BeforeActivation自定义路由,以及依赖注入容器注册、数据库依赖注入、返回值序列化及MVC下WebSocket与gRPC整合实践。

2026.09.11

80

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程