必须使用openai兼容接口对接nim网关,启动时加--openai-compatible参数,配置.env中model_provider=openai、openai_api_base和任意openai_api_key,并在dify后台显式注册并启用模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

要在Dify中调用NVIDIA NIM(NVIDIA Inference Microservices)提供的高性能推理服务,必须绕过默认的模型直连逻辑,改用标准OpenAI兼容接口协议对接NIM网关,否则Dify将无法解析响应或触发流式输出。
确认NIM服务已就绪并暴露OpenAI兼容端点
启动NIM容器时必须显式启用--openai-compatible参数,否则Dify会因HTTP 404或schema不匹配而报错“model not found”。
执行命令验证端点可用性:curl -X POST http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"meta/llama-3.1-70b-instruct","messages":[{"role":"user","content":"Hello"}]}'。若返回JSON含choices[0].message.content字段,说明NIM已正确暴露OpenAI接口。
注意:NIM默认监听0.0.0.0:8000,若部署在远程服务器,需确保防火墙放行该端口且Dify所在节点网络可达。
配置Dify使用NIM作为模型提供方
编辑Dify项目根目录下的.env文件,将以下三行替换为实际NIM地址:
【MODEL_PROVIDER=openai】
【OPENAI_API_BASE=https://your-nim-server-ip:8000/v1】
OPENAI_API_KEY可填任意非空字符串(NIM默认不校验key,但Dify强制要求该字段存在)。
若NIM启用了TLS(如通过Nginx反向代理),请将https改为http并确认Dify容器能访问该地址——Dify内部HTTP客户端默认禁用SSL证书校验,无需额外配置CA证书。
在Dify管理后台注册NIM模型
第一步:登录Dify Web管理界面(http://your-dify-server/),进入【Settings → Model Providers → OpenAI】。
通过 NVIDIA NIM API 调用 Kimi K2.5 视觉模型分析图像,非常适合为 MiniMax M2.5、GLM-5 等非视觉模型赋予视觉能力。
第二步:点击【+ Add Model】,填写如下字段:
• Model Name:llama-3.1-70b-instruct(必须与NIM启动时指定的--model名称完全一致)
• Model Type:选择chat
• Max Tokens:填8192(需≤NIM启动参数--max-output-tokens值)
第三步:滚动到底部,勾选【Enabled】→点击【Save】。
这一步不可跳过:即使.env已配置全局OpenAI地址,Dify仍要求每个模型在后台显式启用,否则应用创建时下拉列表为空。
创建应用并绑定NIM模型
进入【Apps → Create App】,选择【Chatbot】类型。
在【Model Configuration】区域,从下拉菜单中选择刚注册的llama-3.1-70b-instruct模型。
保存后点击【Launch】,在对话窗口输入测试消息。若看到逐字流式响应且无500 Internal Server Error,说明Dify已成功通过OpenAI协议桥接NIM服务。










