本地模型部署_Ollama 与 Hermes Agent 无缝连接教程

夜芳大大_1156

夜芳大大_1156

2026-04-24

733人浏览

原创

hermes agent无法调用本地ollama模型时,需依次验证服务状态与模型可用性、配置llm提供方为ollama、启用ollama兼容模式、命令行测试连通性,并可选docker compose统一部署。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

本地模型部署_ollama 与 hermes agent 无缝连接教程

如果您已安装Ollama并下载了本地大模型,但Hermes Agent无法调用该模型执行推理任务,则可能是由于服务地址未正确指向、模型名称不匹配或HTTP兼容性未启用。以下是实现Ollama与Hermes Agent无缝连接的具体操作步骤:

一、验证Ollama服务运行状态及模型可用性

确保Ollama后台服务正在监听默认端口,并确认目标模型已成功拉取至本地,这是建立连接的前提条件。

1、在终端中执行ollama serve启动服务(若尚未运行);

2、新开终端窗口,运行ollama list检查输出中是否包含您计划使用的模型,例如qwen2.5:7b或llama3.1:8b;

3、若列表为空或缺少目标模型,执行ollama pull qwen2.5:7b下载轻量级中文模型;

4、执行curl http://localhost:11434/api/tags验证HTTP接口可访问,响应中应包含已安装模型的JSON结构。

二、配置Hermes Agent使用Ollama作为LLM提供方

通过CLI向导或手动编辑配置文件,将Hermes Agent的LLM请求路由至本地Ollama服务,无需API密钥且完全离线。

1、运行hermes model启动交互式配置向导;

2、当提示选择LLM Provider时,输入ollama;

3、当提示输入Model Name时,填写已拉取的模型标识,如qwen2.5:7b;

4、当提示输入Base URL时,填写http://localhost:11434;

5、确认保存配置后,Hermes会自动写入~/.hermes/config.yaml并生效。

三、启用Ollama兼容模式以适配响应格式

Ollama原生API与OpenAI标准存在字段差异,需显式开启兼容层或调整响应解析逻辑,否则Hermes可能解析失败或返回空响应。

1、打开~/.hermes/config.yaml文件;

2、在llm节点下添加字段ollama_compatible: true;

qwencloud-usage
qwencloud-usage

管理账户认证,查询使用量和计费。用于:登录、登出、查询使用量、查看账单、免费套餐配额、编程计划状态、按量付费

下载

3、若该字段不可用(版本较旧),则手动修改response_format为ollama;

4、保存文件后执行hermes stop && hermes start重启服务以加载新配置。

四、通过CLI命令测试端到端连通性

绕过UI和Web界面,直接使用命令行触发一次完整推理请求,验证从Hermes发起、Ollama执行、结果返回的全链路是否通畅。

1、执行hermes chat -q "你好,请用中文简单自我介绍";

2、观察终端是否在数秒内返回模型生成的响应文本;

3、若出现Connection refused,检查Ollama是否仍在运行;

4、若返回model not found,核对config.yaml中model字段与ollama list输出是否完全一致;

5、若响应内容为空或格式异常,确认ollama_compatible已设为true。

五、Docker Compose方式统一部署(可选方案)

对于希望固化环境、避免主机依赖冲突的用户,可通过Docker Compose将Ollama与Hermes Agent封装在同一网络中,消除跨容器通信障碍。

1、创建docker-compose.yml文件,定义两个service:ollama与hermes;

2、为ollama service挂载模型存储卷/root/.ollama;

3、为hermes service设置环境变量HERMES_LLM_PROVIDER=ollama及HERMES_LLM_BASE_URL=http://ollama:11434;

4、在hermes service的depends_on中声明依赖ollama service;

5、执行docker-compose up -d启动整套服务,再运行docker-compose exec hermes hermes chat -q "测试"验证。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

hermes agent hermesagent qwen

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Hermes Agent完整设置指南教程
Hermes Agent完整设置指南教程

此专题为您提供 HermesAgent最新、最全面的设置指南。内容涵盖从一键安装、模型配置(支持阿里云百炼等)到微信、钉钉等全平台接入的完整流程。无论您是新手还是进阶用户,都能在这里找到清晰的步骤说明与常见问题解答,助您快速部署并掌握这款能自我进化的AI代理,轻松开启智能化工作流。

2026.04.13

592

11

Hermes Agent完整部署教程
Hermes Agent完整部署教程

本专题聚焦开源AI智能体Hermes Agent,提供从入门到精通的完整部署教程。作为会“自我进化”的AI助手,它支持本地及云端私有化部署,具备持久记忆与技能自动沉淀能力。无论你是开发者还是效率追求者,这里都将助你快速搭建专属的“数字伙伴”,实现AI自主执行复杂任务,让工作效率倍增。

2026.04.13

434

20

HermesAgent下载安装完整教程
HermesAgent下载安装完整教程

本专区为您提供 HermesAgent最全面的安装与部署指南。作为由NousResearch推出的“可成长”AI智能体,Hermes支持Linux、macOS及WSL2环境。我们汇集了从官方推荐的一键脚本安装、手动源码部署,到Docker及云服务器(如腾讯云Lighthouse)搭建的保姆级教程。无论您是新手还是开发者,都能在此找到详细的配置步骤,助您快速拥有这位具备持久记忆与自我进化能力的AI助手。

2026.04.13

337

21

Hermes Agent使用指南汇总
Hermes Agent使用指南汇总

本专题将带你从零开始,全面掌握Hermes Agent的安装部署、核心配置、技能扩展与生态整合,无论你是想打造专属私人助手,还是探索AI自动化变现路径,这里都有最实用的实战指南。

2026.05.06

509

34

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

2026.10.16

60

10

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

2026.10.16

20

10

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

2026.10.16

20

10

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

2026.10.16

20

15

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

2026.10.16

20

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Hermes Agent中文文档
Hermes Agent中文文档

共0课时 | 0人学习