workbuddy自定义大模型无打字机效果，主因未启用sse流式传输；需确认后端支持stream=true及text/event-stream响应头、强制客户端设为sse协议、优化生成参数降低ttft、或通过代理注入sse头。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您已为WorkBuddy配置了自定义大模型（如DeepSeek、Qwen等），但发现响应输出呈现整块延迟、缺乏“打字机效果”，则极可能因未启用流式传输机制，导致客户端需等待全部推理完成才接收结果。SSE（Server-Sent Events）协议是实现低延迟、逐token返回的关键技术路径。以下是针对该问题的多种可行解决方法：
一、确认后端推理服务已启用SSE流式响应
WorkBuddy依赖外部模型服务返回符合text/event-stream MIME类型的SSE数据流。若后端服务仅支持普通JSON响应（非chunked流式），则无论客户端如何设置均无法触发流式输出。
1、检查您部署的推理服务（如vLLM、FastAPI+Transformers）是否在API响应头中明确设置Content-Type: text/event-stream。
2、验证接口是否支持stream=true参数：向http://127.0.0.1:8000/v1/chat/completions发送POST请求，请求体中加入"stream": true字段。
3、使用curl命令测试原始SSE流：curl -N "http://127.0.0.1:8000/v1/chat/completions" -H "Content-Type: application/json" -d '{"model":"deepseek-coder-1.3b","messages":[{"role":"user","content":"hi"}],"stream":true}'，观察是否持续输出以data: 开头的多行事件流。
4、若返回完整JSON而非event: message格式数据，则需修改后端代码，在生成循环中调用yield并设置正确headers，否则WorkBuddy将始终等待最终响应，无法实现流式输出。
二、强制WorkBuddy客户端启用SSE通道
WorkBuddy默认对OpenAI兼容接口采用标准HTTP POST请求；当检测到后端支持stream且响应头含text/event-stream时，会自动切换至SSE连接。但部分自定义服务因header缺失或字段不规范，可能导致自动识别失败，需手动干预。
1、进入WorkBuddy客户端【设置】→【AI模型】→选择已添加的自定义模型。
2、点击【高级设置】，找到“传输协议偏好”选项（若未显示，请确保客户端版本≥v1.3.2）。
3、将协议选项从“Auto”改为SSE（Server-Sent Events）。
4、保存配置后重启WorkBuddy客户端，再次发起对话观察响应节奏变化。
5、若仍无改善，可临时在API基础地址末尾追加?stream=1参数（如http://127.0.0.1:8000/v1?stream=1），辅助客户端识别流式意图。
使用AIsa生成图像与视频。仅需一个API密钥即可调用Gemini 3 Pro Image（图像）和Qwen Wan 2.6（视频）。
三、调整模型推理服务的生成参数
即使SSE通道已建立，若后端生成策略设置不当（如max_tokens过大、temperature过低、启用logprobs等），仍会导致首token延迟显著增加，破坏流式体验的实时感。
1、登录推理服务所在服务器，检查启动命令中是否包含--enable-chunked-prefill或--streaming参数（vLLM需显式启用）。
2、在WorkBuddy发送请求的payload中，显式指定"temperature": 0.7、"top_p": 0.95、"max_tokens": 512，并移除"presence_penalty"与"frequency_penalty"字段。
3、若使用llama.cpp后端，确认已编译启用--server --chat-style llama，并在请求中传入stream=true及stop=["\n", ""]以加速终止判断。
4、重点检查首token延迟（Time to First Token, TTFT）是否超过2秒；若TTFT过高，说明模型加载、KV缓存初始化或prefill阶段存在瓶颈，需优化GPU显存分配或降低context长度。
四、绕过WorkBuddy内置通道，使用本地代理注入SSE头
当自定义模型服务无法修改源码或部署环境受限时，可通过轻量代理层动态注入SSE必需头信息与数据格式，使WorkBuddy误判为原生SSE服务。
1、安装并运行mitmproxy或nginx流式代理，监听本地端口8081。
2、配置代理规则：将所有发往http://127.0.0.1:8000/v1/chat/completions的POST请求拦截，改写响应头为Content-Type: text/event-stream，并将原始JSON响应按token拆分为data: {json}格式逐行推送。
3、在WorkBuddy模型配置中，将API基础地址由http://127.0.0.1:8000/v1改为http://127.0.0.1:8081/v1。
4、确保代理服务启用HTTP/1.1 chunked encoding，并禁用response buffering。
5、此方案无需改动模型服务代码，但代理层必须严格遵循SSE事件流语法，任意格式错误将导致WorkBuddy解析中断。
