hermes agent无法调用本地ollama模型时,需依次验证服务状态与模型可用性、配置llm提供方为ollama、启用ollama兼容模式、命令行测试连通性,并可选docker compose统一部署。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您已安装Ollama并下载了本地大模型,但Hermes Agent无法调用该模型执行推理任务,则可能是由于服务地址未正确指向、模型名称不匹配或HTTP兼容性未启用。以下是实现Ollama与Hermes Agent无缝连接的具体操作步骤:
一、验证Ollama服务运行状态及模型可用性
确保Ollama后台服务正在监听默认端口,并确认目标模型已成功拉取至本地,这是建立连接的前提条件。
1、在终端中执行ollama serve启动服务(若尚未运行);
2、新开终端窗口,运行ollama list检查输出中是否包含您计划使用的模型,例如qwen2.5:7b或llama3.1:8b;
3、若列表为空或缺少目标模型,执行ollama pull qwen2.5:7b下载轻量级中文模型;
4、执行curl http://localhost:11434/api/tags验证HTTP接口可访问,响应中应包含已安装模型的JSON结构。
二、配置Hermes Agent使用Ollama作为LLM提供方
通过CLI向导或手动编辑配置文件,将Hermes Agent的LLM请求路由至本地Ollama服务,无需API密钥且完全离线。
1、运行hermes model启动交互式配置向导;
2、当提示选择LLM Provider时,输入ollama;
3、当提示输入Model Name时,填写已拉取的模型标识,如qwen2.5:7b;
4、当提示输入Base URL时,填写http://localhost:11434;
5、确认保存配置后,Hermes会自动写入~/.hermes/config.yaml并生效。
三、启用Ollama兼容模式以适配响应格式
Ollama原生API与OpenAI标准存在字段差异,需显式开启兼容层或调整响应解析逻辑,否则Hermes可能解析失败或返回空响应。
1、打开~/.hermes/config.yaml文件;
2、在llm节点下添加字段ollama_compatible: true;
3、若该字段不可用(版本较旧),则手动修改response_format为ollama;
4、保存文件后执行hermes stop && hermes start重启服务以加载新配置。
四、通过CLI命令测试端到端连通性
绕过UI和Web界面,直接使用命令行触发一次完整推理请求,验证从Hermes发起、Ollama执行、结果返回的全链路是否通畅。
1、执行hermes chat -q "你好,请用中文简单自我介绍";
2、观察终端是否在数秒内返回模型生成的响应文本;
3、若出现Connection refused,检查Ollama是否仍在运行;
4、若返回model not found,核对config.yaml中model字段与ollama list输出是否完全一致;
5、若响应内容为空或格式异常,确认ollama_compatible已设为true。
五、Docker Compose方式统一部署(可选方案)
对于希望固化环境、避免主机依赖冲突的用户,可通过Docker Compose将Ollama与Hermes Agent封装在同一网络中,消除跨容器通信障碍。
1、创建docker-compose.yml文件,定义两个service:ollama与hermes;
2、为ollama service挂载模型存储卷/root/.ollama;
3、为hermes service设置环境变量HERMES_LLM_PROVIDER=ollama及HERMES_LLM_BASE_URL=http://ollama:11434;
4、在hermes service的depends_on中声明依赖ollama service;
5、执行docker-compose up -d启动整套服务,再运行docker-compose exec hermes hermes chat -q "测试"验证。











