flowise可通过openai兼容接口(如vllm)接入deepseek-v2,关键在于正确配置后端参数、规避tokenizer不匹配、chat template缺失及流式响应格式错位三大断点。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Flowise 本身不内置 DeepSeek 模型,但能通过 OpenAI 兼容接口(如 vLLM、Ollama、LocalAI)无缝接入。关键不在 Flowise 做了什么,而在你选对后端、填对参数、绕过三个典型断点:Tokenizer 不匹配、Chat Template 缺失、流式响应格式错位。
用 vLLM 启动 DeepSeek-V2 并暴露 OpenAI 接口
vLLM 是目前本地运行 DeepSeek-V2 最稳的推理后端,它自动处理 KV Cache 优化和 PagedAttention,避免 OOM;更重要的是,它默认启用 OpenAI 兼容 endpoint(/v1/chat/completions),省去手动封装层。
- 确保模型 ID 正确:
deepseek-ai/deepseek-v2(HuggingFace Hub 名),不是deepseek-v2-chat或其他变体 - 启动命令必须含
--dtype bfloat16,否则在消费级显卡(如 RTX 4090)上易触发CUDA out of memory - 若用多卡,
--tensor-parallel-size必须与实际 GPU 数一致,否则服务启动成功但调用时返回500 Internal Server Error - 验证接口是否就绪:执行
curl http://localhost:8000/v1/models,应返回含deepseek-v2的 JSON 列表
在 Flowise 中添加 OpenAI 类型 LLM 节点时的关键配置项
Flowise 的 “Add LLM” 页面里,选 “OpenAI” 类型是唯一正确路径——选 “HuggingFace Inference API” 或 “Custom LLM” 都会跳过 chat template 渲染逻辑,导致 DeepSeek 输出乱码或截断。
使用AIsa生成图像与视频。仅需一个API密钥即可调用Gemini 3 Pro Image(图像)和Qwen Wan 2.6(视频)。
-
Base URL填http://localhost:8000/v1(末尾不能带斜杠,否则 Flowise 内部拼接/chat/completions时变成//chat/completions) -
Model Name必须与 vLLM 启动时指定的--model完全一致,大小写敏感;Flowise 会把它透传到请求体的model字段 -
API Key留空——vLLM 默认无认证,填任意字符串反而触发 401 - 勾选
Streaming:DeepSeek-V2 支持 true streaming,不勾会导致响应延迟高、前端卡顿
导入 RAG 模板后必须手动修正的两个字段
GitHub 上的 deepseek-rag-template.json 是社区实测可用的起点,但它默认假设模型支持 system role,而 DeepSeek-V2 实际使用的是 system + user + assistant 三段式模板,且对 system 内容长度敏感。
- 打开模板中 LLM 节点的 JSON 配置(右键 → “Edit as JSON”),将
systemMessage字段值缩短至 ≤ 256 字符,超长会导致 vLLM 返回context length exceeded - 检查
messages数组结构:确保每个 message 对象含role("system"/"user"/"assistant")和content,不能是text或prompt - 若用自定义文档分块器(如
RecursiveCharacterTextSplitter),chunk size 建议设为512,因 DeepSeek-V2 在长 context 下对碎片化语义恢复能力弱于 Qwen2
Docker Compose 编排时 network 和 env 的硬性约束
本地调试可行 ≠ 生产可用。Docker 容器间通信失败是 Flowise+DeepSeek 联调失败的第二大原因,根源常在 network 隔离或环境变量未透传。
- vLLM 服务的
container_name必须与 Flowise 的LLM_BASE_URL中 host 名完全一致,例如:http://vllm:8000/v1要求 vLLM 容器名就是vllm - Flowise 容器必须显式声明
depends_on+healthcheck,否则可能 Flowise 启动时 vLLM 还没 ready,导致初始化报Failed to connect to LLM -
LLM_API_KEY环境变量不用设(vLLM 无 key),但LLM_BASE_URL必须用容器内可解析的地址,不能写localhost - 挂载模型路径时,确认宿主机目录有读权限:
chmod -R 755 ./models/deepseek-v2,否则 vLLM 启动日志只显示Permission denied无更多线索
最易被忽略的点是:DeepSeek-V2 的 tokenizer 对中文标点(尤其是全角括号、破折号)存在 subword 切分偏差,如果 RAG 检索返回的 chunk 末尾带这些符号,模型可能生成不完整句子。建议在向量检索后加一层 post-process,用正则清洗 chunk 尾部非字母数字字符。









