如何为WorkBuddy配置本地模型缓存

陌静君_8250

陌静君_8250

2026-07-27

392人浏览

原创

启用workbuddy本地模型路由缓存可降低平均120ms延迟,需执行三步:开启缓存开关、设置ttl为3600秒、重启客户端;缓存仅对url接入模型生效,且models.json中url须以/v1/chat/completions结尾。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何为workbuddy配置本地模型缓存

WorkBuddy 配置本地模型缓存能显著缩短模型切换耗时,避免每次切换都触发DNS查询与服务发现重试,实测可降低平均120ms延迟。

启用本地路由缓存

WorkBuddy 客户端在本地维护模型服务地址映射表,若未启用缓存,每次切换模型都会同步查询服务地址,引入额外网络延迟。

第一步:打开终端(Windows PowerShell / macOS Terminal / Linux Bash),执行以下命令启用缓存开关:

workbuddy-cli config set route.cache.enabled true

第二步:设置缓存有效期为3600秒(即1小时),确保内网服务地址长期有效且不过期:

workbuddy-cli config set route.cache.ttl 3600

第三步:关闭并重新启动 WorkBuddy 桌面客户端,使新配置加载生效。重启后首次模型切换会写入缓存,后续切换将直接读取本地映射,不再发起网络请求。

手动验证缓存是否生效

方法一:查看日志确认缓存命中

One API key for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more
One API key for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more

统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。

下载

启动 WorkBuddy 后,在开发者模式下打开控制台(Ctrl+Shift+I → Console 标签页),切换两次同一本地模型,若第二次无新的 fetch 请求或 endpoint 查询日志,则说明缓存已起作用。

方法二:检查配置文件内容

进入 %USERPROFILE%\.workbuddy\config.json(Windows)或 ~/.workbuddy/config.json(macOS/Linux),确认其中存在如下字段:

"route": {"cache": {"enabled": true, "ttl": 3600}}

注意:该配置仅对通过 URL 地址接入的模型(如 Ollama、内网 DeepSeek)生效,不适用于 GGUF 本地推理模型。

配合模型配置文件优化缓存效果

若你同时使用自定义模型(如内网部署的 DeepSeek),需确保 models.json 中的 url 字段结尾为 /v1/chat/completions,否则路由缓存无法正确匹配目标 endpoint。

例如,正确写法是:"url": "http://10.193.200.210:1025/v1/chat/completions";错误写法如 "url": "http://10.193.200.210:1025" 将导致缓存失效。

这一步做完后,WorkBuddy 的模型切换将跳过 DNS 解析与服务发现环节,直接从本地缓存中提取已知 endpoint。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
WorkBuddy AI教程合集
WorkBuddy AI教程合集

本专题整合了WorkBuddy AI入门到精通合集,阅读专题下面的文章了解更多详细内容。

2026.04.03

1727

38

WorkBuddy产品概览与核心价值
WorkBuddy产品概览与核心价值

本专题将带您快速了解WorkBuddy智能办公助手。内容涵盖产品定义、核心功能概览、适用场景分析以及它如何提升团队效率。无论您是初次接触还是希望深入了解,这里都有您需要的入门知识。

2026.04.09

643

19

WorkBuddy环境搭建与部署指南
WorkBuddy环境搭建与部署指南

提供详尽的WorkBuddy安装与部署指南。无论您是在Windows、Mac、Linux桌面端,还是在服务器或云端环境进行私有化部署,本专题都将一步步指导您完成环境准备、软件下载、安装配置及首次启动,确保系统平稳上线。

2026.04.09

936

26

WorkBuddy核心功能与实操模式
WorkBuddy核心功能与实操模式

深入探索WorkBuddy的强大功能。本专题包含智能问答、文档处理、会议纪要生成、日程管理、任务协作等核心模块的操作指南与最佳实践。通过图文并茂的教程,助您快速上手,最大化发挥WorkBuddy的办公效能。

2026.04.09

602

19

WorkBuddy生态集成与API配置
WorkBuddy生态集成与API配置

指导管理员如何将WorkBuddy无缝接入现有办公生态。内容涉及企业微信、钉钉、飞书等主流平台的集成步骤,以及Webhook、API密钥配置、单点登录(SSO)设置等高级接入选项,实现统一入口,提升协作体验。

2026.04.09

935

18

WorkBuddy模型矩阵与技能扩展
WorkBuddy模型矩阵与技能扩展

揭秘WorkBuddy背后的智能引擎。本专题介绍所支持的大语言模型(LLM)类型、如何根据需求切换或配置模型,以及如何通过自定义指令、技能插件(Plugins)扩展WorkBuddy的能力边界,打造专属的智能办公伙伴。

2026.04.09

1012

19

WorkBuddy安全架构与计费体系
WorkBuddy安全架构与计费体系

透明化WorkBuddy的计费模式与安全保障体系。清晰列出不同版本(免费版、专业版、企业版)的费用结构、功能差异与订阅方式;同时深入解读数据加密、访问控制、合规认证(如GDPR、ISO)等企业级安全特性,让您用得放心。

2026.04.09

244

12

WorkBuddy协作工具使用与项目管理优化实践
WorkBuddy协作工具使用与项目管理优化实践

本专题聚焦 WorkBuddy 协作工具在企业项目管理中的应用,讲解任务分配、进度跟踪、团队协作、日程管理及报告生成技巧。通过实践案例,帮助团队提升工作效率、优化沟通流程,实现高效协作与项目执行。

2026.05.06

333

21

WorkBuddy团队协作与任务流程管理实战
WorkBuddy团队协作与任务流程管理实战

本专题围绕 WorkBuddy 协作工具展开,讲解任务分配、项目进度管理、团队协作优化、日程安排及报告生成技巧。通过实战案例,帮助企业提升团队工作效率与沟通协作水平。

2026.06.08

717

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程