要在qoder中配置deepseek自定义模型,必须先获取合法授权的deepseek-r1-distill-qwen系列权重文件并部署兼容推理服务(如vllm或ollama),确保其暴露openai兼容的/v1/chat/completions端点;使用vllm需加--enable-api参数启动,ollama需运行ollama serve;qoder配置时api base url填对应服务地址,勾选“启用流式响应”,并在模型参数中准确填写model字段值。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

要在Qoder中配置DeepSeek自定义模型,必须先确认你已获取合法授权的DeepSeek-R1-Distill-Qwen系列模型权重文件(如deepseek-r1-distill-qwen-7b),且本地已部署好兼容的推理服务端口(如vLLM或Ollama的HTTP API)。
确认Qoder支持的模型接入协议
Qoder当前仅支持通过OpenAI兼容API协议接入外部大模型。这意味着你的DeepSeek模型服务必须暴露符合OpenAI REST规范的/v1/chat/completions端点——不是HuggingFace Transformers原生接口,也不是裸模型加载路径。
若你用的是vLLM启动的服务,需确保启动时加了--enable-api参数;若用Ollama,需运行ollama serve并确认http://localhost:11434可访问。
准备DeepSeek模型的API服务
方法一:用vLLM启动DeepSeek-R1-Distill-Qwen-7B
执行以下命令启动服务(注意替换model_path为实际模型目录):
vllm serve --model /path/to/deepseek-r1-distill-qwen-7b --host 0.0.0.0 --port 8000 --tensor-parallel-size 1 --dtype bfloat16 --enforce-eager
这一步必须成功返回INFO: Started server日志,否则Qoder无法连接。端口8000将作为后续Qoder的API入口。
方法二:用Ollama注册并运行
先拉取模型:ollama pull deepseek-r1:7b(需提前在~/.ollama/Modelfile中定义该tag映射到本地权重);再运行ollama serve保持后台服务活跃。
在Qoder中填写模型配置
第一步:打开Qoder设置页 →「模型管理」→「添加自定义模型」
第二步:填入基础信息
模型名称:输入deepseek-r1-7b(仅作标识,不参与调用)
API Base URL:http://localhost:8000/v1(对应vLLM)或http://localhost:11434/v1(对应Ollama)
API Key:留空(vLLM默认无需key;Ollama也无需认证,但若启用了Basic Auth则需填对应凭证)
【关键校验点】必须勾选「启用流式响应」,否则Qoder前端会卡在等待完整响应,导致对话无输出。
第三步:高级参数配置
在「请求头」区域手动添加一行:Content-Type: application/json
在「模型参数」JSON框中填入:
{"model": "deepseek-r1-distill-qwen-7b", "temperature": 0.7, "top_p": 0.9, "max_tokens": 1024}
注意:此处"model"字段值必须与vLLM启动时指定的--model路径末尾名称完全一致,否则返回404错误。










