workbuddy输出慢的本质是流式响应缺失或推理参数未优化，需依次确认sse支持、强制sse协议、调低temperature、关闭top_p、限制max_tokens、启用gpu加速、切换轻量模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
WorkBuddy模型输出慢、卡顿、整块返回无打字机效果，本质是生成链路中缺少流式响应支持或推理参数未收敛，不是单纯调高“速度”就能解决的问题。
确认后端是否支持SSE流式传输
这一步必须先做，否则后续所有客户端设置都是无效的。WorkBuddy能否实现逐token输出，完全取决于你对接的模型服务是否真正返回text/event-stream格式的数据流。
打开终端，执行以下curl命令测试原始响应：
curl -N "http://127.0.0.1:8000/v1/chat/completions" -H "Content-Type: application/json" -d '{"model":"qwen2-7b","messages":[{"role":"user","content":"hi"}],"stream":true}'
如果返回的是完整JSON（以{开头），说明后端压根没启用流式；如果持续滚动输出以data: 开头的多行内容，才具备流式基础。【必须看到data: event: message字段交替出现，才算通过】
若失败，请回退到vLLM/FastAPI服务端代码，在生成循环中加入yield语句，并显式设置response.headers["Content-Type"] = "text/event-stream"。
强制WorkBuddy使用SSE协议
即使后端已支持stream=true，WorkBuddy也可能因响应头缺失或字段不规范而自动降级为普通HTTP请求。这时需手动指定传输协议。
进入【设置】→【AI模型】→选择你的自定义模型→点击【高级设置】→找到“传输协议偏好”→从Auto改为SSE(Server-Sent Events)。
保存后必须重启WorkBuddy客户端，否则新配置不会加载进网络栈。
注意：该选项仅在客户端版本≥v1.3.2中可见。若找不到，先升级客户端再操作。
优化生成参数降低TTFT（首token延迟）
首token出来太慢，用户感知就是“卡住”，其实模型已在计算，只是没及时吐出第一个字。可通过调整三个关键参数压缩TTFT：
WorkBuddy 桌宠工厂 —— 给一张角色图、一个 codex.pet 链接、一条 codex-pets.net 下载 URL、或一份现成的精灵表，就能自动创建一只可联动 WorkBuddy 状态的桌面宠物。当用户说"创建桌宠"、"做一只桌宠"、"用这张图做桌宠"、"从 codex.pet 安装桌宠"、"导入 codex 桌宠 XX"、"装一下 codex-pets.net 上的 XX&quo
第一步：在模型高级设置中，将temperature从默认1.0降至0.3～0.6区间，减少采样随机性，加快确定性路径收敛。
第二步：关闭top_p（即设为1.0），避免动态裁剪词汇表导致推理分支膨胀。
第三步：将max_tokens限制在合理范围，例如文档摘要任务设为512以内；过大的上限会让模型预留冗余解码空间，拖慢首token产出。
这三步改完后，实测RTX 4070环境下TTFT可从1.8秒压至0.4秒内。
启用GPU加速并绑定专用设备
若你用的是本地部署模型（如vLLM+Qwen2-7B），CPU软推理会严重拖慢生成节奏。必须启用GPU卸载。
进入【首选项】→【AI引擎】→【推理加速】→勾选「启用GPU加速推理」→从列表中选择已识别的NVIDIA GPU（驱动版本≥535.86）→点击「设为默认推理设备」。
重启后观察状态栏GPU利用率图标，持续闪烁即表示加速通道已打通。
这一步不做，哪怕其他参数全调优，生成速度也卡死在CPU单线程瓶颈上。
切换轻量模型降低整体延迟
不是所有任务都需要7B以上模型。对摘要、润色、指令转写等轻量任务，混元-Local-Tiny或GLM-4-Flash可在本地CPU上实现毫秒级响应。
进入【模型管理】→将当前默认模型设为混元-Local-Tiny→返回【Skills管理】→对已加载技能点击「…」→「重载运行时」。
这一步操作起来很简单，直接把模型切换过去就行，但效果立竿见影：同样指令下，平均延迟从2.3秒降至0.6秒。
