需选择ollama或vllm方式接入chatglm3:ollama适用于mac/linux/wsl2,要求8gb内存、15gb磁盘,通过modelfile配置128k上下文;vllm需rtx 4090/a100显卡,支持高并发,需指定模型路径与cuda版本;二者均需在openclaw中配置openai兼容接口并验证连接。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您希望在OpenClaw中接入ChatGLM3模型以实现本地化、高隐私保障的AI能力,则需根据部署环境选择适配路径。ChatGLM3系列(如chatglm3-6b-128k)已验证可与OpenClaw深度协同,支持Ollama与vLLM两种主流本地运行方式。以下是具体接入步骤:
一、通过Ollama接入ChatGLM3
Ollama提供轻量级容器化运行环境,无需复杂配置即可加载ChatGLM3,并与OpenClaw通过标准OpenAI兼容接口通信。该方式适用于Mac/Linux/WSL2环境,对硬件要求相对友好。
1、确认系统满足基础条件:Linux/macOS或Windows启用WSL2,x86_64/ARM64架构,至少8GB可用内存,空闲磁盘空间≥15GB。
2、安装Ollama并验证服务状态:执行ollama serve &>/dev/null & sleep 2 && ollama list | grep -q "NAME",若输出“Ollama服务正常运行”则表示就绪。
3、创建自定义Modelfile.chatglm3-128k文件,内容包含FROM指令指向官方镜像及关键参数:设置num_ctx 131072启用128K上下文,num_gqa 8优化注意力分组,temperature 0.7和top_p 0.9保障生成稳定性。
4、在Modelfile所在目录执行ollama create chatglm3-128k -f Modelfile.chatglm3-128k完成模型构建。
5、启动Ollama服务后,在OpenClaw初始化配置中选择“Custom API Endpoint”,填入http://localhost:11434/v1作为Base URL,并将Model Name设为chatglm3-128k。
二、通过vLLM接入ChatGLM3
vLLM具备高性能推理与PagedAttention机制,适合多并发、低延迟场景。该方式需显存充足(推荐RTX 4090/A100),但能显著提升OpenClaw在批量任务中的响应效率与吞吐能力。
1、安装vLLM:执行pip install vllm,确保CUDA版本匹配(推荐CUDA 11.8或12.1)。
2、下载ChatGLM3-6B权重文件至本地目录,例如/models/chatglm3-6b,确认含config.json、pytorch_model.bin等核心文件。
3、启动vLLM API服务器:运行python -m vllm.entrypoints.openai.api_server --model /models/chatglm3-6b --tensor-parallel-size 1 --dtype half --max-model-len 131072。
4、在OpenClaw的Provider配置页中选择“OpenAI Compatible”,填入http://localhost:8000/v1为API Base URL,API Key留空(vLLM默认免密),Model Name填写chatglm3-6b。
三、配置OpenClaw使用ChatGLM3模型
完成模型运行环境部署后,需在OpenClaw内部完成模型绑定与上下文适配,确保其能正确解析指令并调用本地模型进行推理。
1、进入OpenClaw初始化向导(onboarding),当提示选择Provider时,跳过Z.AI等云端选项,直接选择OpenAI Compatible类型。
2、在API Key输入环节,若使用vLLM且未启用鉴权,则粘贴sk-no-key-required占位;若使用Ollama,默认无需Key,留空即可。
3、在Model Name字段中,严格输入与运行时一致的模型标识符,例如chatglm3-128k或chatglm3-6b,大小写与连字符必须完全匹配。
4、保存配置并重启OpenClaw服务,执行openclaw test-model命令验证连接状态,返回✅ Model responded successfully即表示接入成功。
四、验证ChatGLM3在OpenClaw中的实际表现
接入完成后需进行功能性验证,重点测试长文本理解、中文语义连贯性及技能链路触发能力,避免因Tokenizer不兼容或context truncation导致行为异常。
1、在OpenClaw Web控制台中输入指令:“请总结以下合同条款:[粘贴一段超2000字的中英文混合合同文本]”,观察是否完整接收并准确提炼关键义务与违约责任。
2、发起多轮对话,首轮提问“什么是差分隐私”,次轮追问“它在联邦学习节点中如何配置”,确认模型能否维持跨轮术语一致性与上下文锚定能力。
3、调用已启用的Skill(如pdf-pro),上传PDF后执行“提取第5页表格数据并转为JSON”,验证ChatGLM3是否能协同工具完成结构化输出。
4、检查日志输出:在终端中运行openclaw logs --tail 50,查找含model=chatglm3与ctx_len=131072的请求记录,确认参数生效。











