要在dify中实现高精度代码补全，必须让deepseek coder模型直接参与token级预测，并绕过通用对话模板干扰；需选用deepseek-coder-instruct权重、通过tgi适配openai协议、配置正确stop序列及提示词格式。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Dify中实现高精度代码补全，必须让DeepSeek Coder模型直接参与token级预测，并绕过通用对话模板的干扰。默认的chat接口会注入系统提示词和对话格式，导致补全结果带冗余换行、注释或不完整函数签名。
确认DeepSeek Coder模型可用性
进入Dify控制台 →「模型管理」→「添加模型」→ 选择「自定义LLM API」。注意：必须使用deepseek-coder系列权重，而非deepseek-r1；官方Hugging Face仓库提供deepseek-ai/deepseek-coder-33b-instruct与deepseek-ai/deepseek-coder-6.7b-instruct两个主流版本，前者适合长函数补全，后者响应更快。
若本地部署，用Ollama拉取时需指定tag：ollama run deepseek-coder:6.7b-instruct。未加-instruct后缀的base版不具备指令理解能力，将无法响应Dify的补全请求。
配置兼容OpenAI协议的API服务
DeepSeek Coder原生不支持OpenAI格式，必须通过适配层转换。推荐使用llama.cpp的server模式或轻量级text-generation-inference（TGI）容器启动：
① 启动TGI服务（以6.7B为例）：
docker run --gpus all --shm-size=1g -p 8080:80 -v $(pwd)/models:/data ghcr.io/huggingface/text-generation-inference:2.4.2 --model-id deepseek-ai/deepseek-coder-6.7b-instruct --quantize bitsandbytes-nf4 --max-input-length 8192 --max-total-tokens 16384
② 验证API连通性：
curl http://localhost:8080/health → 返回{"status":"ok"}即就绪。
【关键前提】必须启用--quantize bitsandbytes-nf4，否则6.7B模型在单张RTX 4090上显存超限，服务启动失败。
在Dify中创建专用代码补全模型
方法一：使用「自定义LLM API」直接对接TGI
填写以下参数：
• 模型名称：deepseek-coder-6.7b-completion
• API基础地址：http://host.docker.internal:8080（Docker内部访问宿主机服务）
• 请求体模板（JSON）：
{
"inputs": "{{sys.prompt}}",
"parameters": {
"temperature": 0.2,
"max_new_tokens": 512,
"stop": ["\n\n", "```", ""]
}
}
注意：stop字段必须包含"\n\n"——这是DeepSeek Coder生成函数体后习惯性空两行的特征，不设此终止符会导致补全内容无限延续。
方法二：通过Dify插件机制注入预处理逻辑
在Dify项目根目录下新建plugins/deepseek_coder_completion.py，写入：
def preprocess(prompt):
return prompt.rstrip() + "\n"
def postprocess(response):
return response.split("\n", 1)[-1].lstrip()
该脚本强制在用户输入末尾追加换行符，触发DeepSeek Coder的续写模式；再截掉首行（即原输入行），只保留补全部分。这是实现精准补全的核心技巧。
构建代码补全工作流
进入「工作流编排」→ 新建空白工作流 → 拖入「文本输入」节点作为代码片段入口 → 连接至「AI模型」节点 → 选择刚配置的deepseek-coder-6.7b-completion模型。
在AI模型节点的「提示词模板」中填写：
```python
{{input}}
```
请严格按上述格式续写Python代码，不要解释，不要添加任何注释或空行，仅输出可执行代码。
这一步必须用三个反引号包裹输入，因为DeepSeek Coder的instruction微调数据中，代码块均以```为上下文锚点。不用此格式，模型会误判为普通文本补全，返回自然语言描述。
最后连接「文本输出」节点，保存并发布工作流。测试时输入：def calculate_tax(income: float) -> float:
模型将精准返回： return income * 0.15
