如何在Dify中通过LocalAI对接本地离线API服务-人工智能-PHP中文网

必须用localai替代ollama实现真正离线运行：它支持gguf模型、兼容openai api规范、暴露/v1/chat/completions端点；需克隆仓库、下载模型至models/目录、用宿主机ip配置dify供应商并发布应用，否则连接失败或404。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在dify中通过localai对接本地离线api服务

要在Dify中真正实现模型离线运行、数据不出内网，必须绕过Ollama这类轻量服务，改用LocalAI对接已部署的本地大模型API——它支持GGUF格式模型、兼容OpenAI API规范，且能暴露标准/v1/chat/completions端点，是企业级私有化部署更稳妥的选择。

准备LocalAI服务并加载模型

克隆LocalAI仓库并进入示例目录：git clone https://github.com/go-skynet/LocalAI && cd LocalAI/examples/langchain-chroma。

下载目标模型（如Qwen2.5-7B-GGUF）到models/目录下，确保文件名不含空格或特殊符号——LocalAI启动时若读取失败会静默跳过，不报错也不加载。

执行docker-compose up -d启动服务，默认监听http://localhost:8080。验证是否就绪：新开终端运行curl http://localhost:8080/health，返回{"status":"ok"}即成功。

【注意：Dify容器内无法解析宿主机的localhost】若Dify以Docker Compose方式部署，LocalAI服务地址必须改为宿主机真实IP（如http://192.168.1.100:8080），否则连接超时且无明确错误提示。

在Dify控制台配置LocalAI模型供应商

登录Dify后台 → 进入「模型管理」→ 点击「添加模型供应商」→ 选择「自定义LLM」。

填写以下关键字段：

供应商名称：LocalAI-Qwen25
基础URL：http://host-ip:8080/v1（务必替换host-ip为宿主机实际IP）
模型名称：qwen2.5-gguf（需与LocalAI配置文件中model.name一致）
API密钥：留空（LocalAI默认无需认证；若启用Basic Auth，填username:password Base64编码值）

点击「测试连接」，成功后显示绿色对勾；失败则检查LocalAI日志中是否有binding to address和loaded model字样，缺失说明模型未正确加载。

创建应用并绑定LocalAI模型

第一步：新建一个「聊天应用」，在「模型配置」页取消勾选「使用平台默认模型」。

第二步：在「推理模型」下拉菜单中选择刚添加的LocalAI-Qwen25供应商下的qwen2.5-gguf模型。

php获得文件的mime type类

下载

第三步：点击右上角「发布」按钮，使配置生效——这一步不可跳过，未发布的模型配置不会写入运行时环境。

第四步：回到应用首页，点击「调试」标签页，在输入框发送「你好」，观察响应内容是否来自Qwen2.5而非默认模型。若返回404 Not Found，说明Dify尝试访问了/v1/chat/completions但LocalAI实际暴露的是/chat/completions（缺少v1前缀），需回退修改基础URL为http://host-ip:8080并去掉末尾/v1。