需先启动本地llama 3服务并配置workbuddy对接:一、用ollama运行模型并监听11434端口;二、启用local llm插件并设api地址与模型名;三、可用lm studio启1234端口openai兼容服务;四、亦可编译llama.cpp http服务器连8080端口。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您希望在 WorkBuddy 中调用本地运行的 Llama 3 模型,需确保模型服务已启动并可通过 HTTP 或 WebSocket 协议被 WorkBuddy 访问。以下是实现该集成的具体步骤:
一、配置本地 Llama 3 服务为 Ollama 运行模式
WorkBuddy 支持直接对接 Ollama 提供的 REST API 接口,因此需先将 Llama 3 模型以 Ollama 格式加载并监听标准端口。此方式无需修改 WorkBuddy 源码,仅依赖其内置的 Ollama 集成模块。
1、下载并安装 Ollama 工具,确认版本不低于 0.1.42。
2、执行命令 ollama run llama3 启动模型服务,默认监听 http://127.0.0.1:11434。
3、在终端中运行 curl http://127.0.0.1:11434/api/tags,验证响应中包含 llama3 标签项。
二、在 WorkBuddy 中启用本地 LLM 插件
WorkBuddy 自带 Local LLM 插件,用于接管所有大模型请求并转发至指定后端。启用后,界面中的“AI 助手”按钮将自动切换为本地推理路径。
1、打开 WorkBuddy 应用,点击右上角用户头像进入 设置 → 插件管理。
2、找到 Local LLM 插件,点击启用开关。
3、在插件配置页中,将 API Base URL 设置为 http://127.0.0.1:11434,Model Name 填写为 llama3。
使用 draw.io(.drawio 格式)和 SVG 生成兼容 Microsoft Visio 的架构图。当用户需要以下任一场景时触发: - 用于 Visio 或技术文档的架构/系统/网络图 - 带连接标注的分层控制系统图 - 将 draw.io XML 转换为稳定、可嵌入的 SVG - 修复 Visio 或 draw.io 无法打开的故障排查类图表 - 任何需专业级布局且文本可编辑的图表
三、使用 LM Studio 替代 Ollama 启动服务
若已安装 LM Studio,可利用其内置的 OpenAI 兼容 API 模式提供接口,WorkBuddy 可将其识别为标准 OpenAI 风格后端,适用于需要更细粒度参数控制的场景。
1、在 LM Studio 中加载 Meta-Llama-3-8B-Instruct.Q5_K_M.gguf 模型文件。
2、点击顶部菜单栏 Local Server → Start Server,确认端口显示为 127.0.0.1:1234。
3、返回 WorkBuddy,在 设置 → AI 模型 → 自定义 API 中,填入 http://127.0.0.1:1234/v1 作为基础地址,并将 API Key 留空。
四、通过文本协议直连 llama.cpp HTTP 服务器
对于高级用户,可编译 llama.cpp 并启用其内置 HTTP 服务,WorkBuddy 支持 raw HTTP POST 请求格式,适用于低延迟或定制化 tokenizer 场景。
1、从 GitHub 克隆 ggerganov/llama.cpp 仓库,执行 make server 编译服务程序。
2、运行命令 ./server -m ./models/llama-3-8b-instruct.Q4_K_M.gguf -c 2048 -ngl 99,确保输出包含 HTTP server listening at http://127.0.0.1:8080。
3、在 WorkBuddy 的开发者设置中,选择 Advanced LLM Backend → Custom HTTP Endpoint,输入 http://127.0.0.1:8080/completion 作为请求地址。










