hermes agent需通过custom endpoint显式配置ollama本地接口(http://localhost:11434/v1)并指定模型名(如llama3:8b)、api key(任意非空值),再启用ollama_compatible模式或升级至v0.3.0+以兼容响应格式。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您已安装Ollama并拉取了本地模型,但HermesAgent仍无法调用,可能是由于默认未启用自定义API端点配置。Ollama默认提供符合OpenAI兼容规范的REST接口(http://localhost:11434/v1),需通过CustomEndpoint显式声明该地址才能完成离线对接。以下是实现该配置的具体步骤:
一、验证Ollama服务状态与模型加载
此步骤确保Ollama后台服务正在监听标准端口,并且目标模型已成功载入内存,这是CustomEndpoint能正常通信的前提。
1、在终端中执行 ollama list,确认目标模型(如 llama3:8b、qwen2:7b)状态列为 “loaded”。
2、执行 ollama serve 启动服务;若已运行,可跳过此步。
3、观察终端输出是否包含 Listening on 127.0.0.1:11434 字样。
4、在浏览器或使用 curl 访问 http://localhost:11434,返回非空JSON(如 {"models":[...]})即表示服务可达。
二、CLI方式配置CustomEndpoint(推荐)
该方法通过交互式命令向导直接写入配置,避免手动编辑文件出错,适用于所有支持hermes model子命令的版本(v0.2.5+)。
1、执行 hermes model 启动配置向导。
2、当提示选择 LLM Provider 时,输入 custom(而非 ollama 或 openai)。
3、当提示输入 Base URL 时,填写 http://localhost:11434/v1。
4、当提示输入 Model Name 时,填写已拉取的模型标识,例如 llama3:8b。
5、当提示输入 API Key 时,任意非空字符串均可(如 ollama),Ollama实际忽略该值但部分Hermes版本校验其存在性。
三、手动修改config.yaml配置CustomEndpoint
该方式适用于需要批量部署、脚本化配置或CLI不可用的环境,直接编辑YAML文件确保字段精确可控。
1、进入HermesAgent项目根目录,定位或新建 config.yaml 文件。
2、在 llm: 配置节下,完整填入以下字段:
商业LOGO设计技能:依据用户描述,使用阿里云百炼千问图像模型(qwen‑image‑2.0‑pro)生成专业商业LOGO图片。适用场景:设计公司/品牌LOGO、生成商业标识图标、创建品牌视觉符号、按描述生成logo图片。支持自定义尺寸、风格、负面提示词等。
model: "llama3:8b"
base_url: "http://localhost:11434/v1"
api_key: "ollama"
3、确认缩进为两个空格,且无制表符混用,否则YAML解析将失败。
4、保存文件后,执行 hermes restart 使配置生效。
四、启用Ollama响应兼容模式
早期Ollama版本返回的JSON结构与OpenAI标准不一致(如使用 message.content 而非 choices[0].message.content),启用兼容模式可自动适配此类差异。
1、检查当前HermesAgent版本是否支持 ollama_compatible: true 配置项(v0.3.0+ 默认支持)。
2、在 config.yaml 的 llm 节点下,新增一行:ollama_compatible: true。
3、若版本不支持该字段,则需改用中间代理(如 LiteLLM)或升级HermesAgent至最新稳定版。
五、测试CustomEndpoint连通性
该步骤通过实际请求验证CustomEndpoint是否被正确识别并触发Ollama推理,是配置闭环的关键验证环节。
1、启动HermesAgent服务:hermes start。
2、在另一终端执行测试命令:hermes chat "你好,请用一句话介绍你自己"。
3、观察终端输出是否返回模型生成文本,且无 Connection refused 或 Invalid response format 类错误。
4、若首次响应延迟较长,属正常现象——Ollama需加载模型至显存/内存,后续请求将显著提速。










