如何在Dify中接入LM Studio运行的本地GGUF格式模型

P粉328763957

P粉328763957

2026-08-04

201人浏览

原创

dify成功接入lm studio需三步:一、lm studio启用openai兼容api并重启;二、dify中以openai compatible方式添加模型,严格匹配模型id;三、通过测试和curl验证接口连通性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在dify中接入lm studio运行的本地gguf格式模型

当你已经用LM Studio成功加载并运行了本地GGUF模型,却在Dify后台找不到对应选项、配置后始终报错“Model not found”或“Connection refused”,说明模型服务虽已启动,但Dify尚未正确识别其OpenAI兼容接口。下面分三步完成接入。

确认LM Studio已启用OpenAI兼容API服务

打开LM Studio → 左侧导航栏点击 「Settings」 → 在「API Server」区域勾选 「Enable OpenAI-compatible API server」 → 确保端口为默认的 1234(可自定义,但需与Dify配置一致)→ 点击 「Save & Restart Server」

这一步必须完成,否则LM Studio只提供图形界面交互,不暴露任何HTTP接口;Dify无法通过网络调用它。

启动后,浏览器访问 http://localhost:1234,若返回 JSON 格式错误提示(如{"error": "Not Found"}),说明API服务已运行;若显示连接被拒绝,则LM Studio未真正启动该服务或端口被占用。

在Dify中注册LM Studio模型(OpenAI兼容方式)

登录Dify管理后台 → 进入「模型管理」→ 「添加模型」→ 选择供应商类型为 「OpenAI Compatible」

填写以下字段:

php获得文件的mime type类
php获得文件的mime type类

php获得文件的mime type类

下载

• 模型名称:任意英文标识,如 lmstudio-qwen7b(后续调用时会用到)
• 基础URL:http://localhost:1234/v1(若LM Studio改了端口,请同步修改)
• API密钥:sk-no-key-required(LM Studio默认不校验key,填这个即可)
• 模型ID:qwen-7b-chat(必须与LM Studio中加载的模型显示名称完全一致,区分大小写,不含.gguf后缀)

【模型ID必须严格匹配LM Studio左下角状态栏显示的模型名】。例如LM Studio界面显示“Loading qwen2.5-7b-instruct-Q4_K_M”,则此处必须填 qwen2.5-7b-instruct-Q4_K_M,少一个字符或大小写错误都会导致Dify调用失败。

验证与调试

第一步:在Dify「模型管理」页面,找到刚添加的模型,点击右侧「测试」按钮。

第二步:输入简单提示词如“你好”,点击发送。若返回正常响应文本,说明接入成功。

第三步:若测试失败,先检查LM Studio右下角是否显示 「API Server: Running on http://localhost:1234」;再打开命令行执行:
curl -X POST http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen-7b-chat","messages":[{"role":"user","content":"hello"}]}'

如果curl返回完整JSON响应,证明LM Studio服务正常,问题出在Dify配置;如果curl也失败,说明LM Studio API未生效或模型未加载。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

qwen dify

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Dify 本地部署与企业配置
Dify 本地部署与企业配置

本专题系统讲解 Dify 从零开始的本地部署方法与企业环境配置实践,涵盖 Docker 安装、依赖准备、数据库初始化、反向代理、参数调优、安全加固与多用户开通,帮助开发者与企业团队快速搭建稳定可用的 Dify 平台。

2026.06.05

72

15

Dify Agent智能体开发实战教程
Dify Agent智能体开发实战教程

本专题聚焦 Dify Agent 智能体的设计与开发,涵盖 Agent 模式选择、工具集成、提示词设计、多步推理、上下文记忆与多 Agent 协作,帮助开发者构建可执行复杂业务任务的智能体应用。

2026.06.05

96

15

Dify RAG知识库构建实战教程
Dify RAG知识库构建实战教程

本专题围绕 Dify RAG 知识库的全流程实践展开,从文档导入、分段切片、向量化到混合检索、重排优化与召回评估,帮助你打造高准确率、低幻觉的企业知识问答应用。

2026.06.05

110

15

火山引擎API Key获取教程
火山引擎API Key获取教程

火山引擎API Key适合需要调用火山引擎云服务、AI模型、火山方舟接口或其他开放能力的开发者参考。本专题整理控制台入口、账号认证、服务开通、API Key创建、密钥复制保存、权限检查、调用测试和Key无效等常见问题排查。

2026.08.04

3

10

火山引擎API接入教程
火山引擎API接入教程

火山引擎API接入适合需要在应用、脚本、后台服务或AI工具中调用火山引擎能力的开发者参考。本专题整理控制台入口、服务开通、API Key获取、接口地址配置、请求参数填写、调用测试、权限设置、额度查询和常见接口报错排查。

2026.08.04

4

10

火山引擎DeepSeek API调用教程
火山引擎DeepSeek API调用教程

火山引擎DeepSeek API适合需要在应用、脚本、智能体或AI编程工具中调用DeepSeek模型的开发者参考。本专题整理火山引擎控制台入口、模型服务开通、API Key获取、Base URL配置、模型名称填写、调用测试、额度查询和常见接口报错排查。

2026.08.04

2

10

火山引擎控制台操作教程
火山引擎控制台操作教程

火山引擎控制台中常用功能包括API密钥管理、模型调用配置、云资源查看、账单明细、用量统计和权限分配。本专题整理控制台基础操作、服务开通流程、Key创建与保存、费用消耗查看、子账号权限设置和调用失败排查,方便开发者完成日常管理。

2026.08.04

3

10

PDF与PPT格式转换操作方法及在线转换技巧
PDF与PPT格式转换操作方法及在线转换技巧

本专题聚焦 PDF 与 PPT 文件格式转换需求,整理 PDF 转 PPT 在线转换方法、PPT 批量转换 PDF 操作步骤、转换后格式错乱处理以及文档版式检查技巧。通过详细教程帮助用户掌握 PDF、PPT 双向转换方法,解决演示文稿制作、文件整理和办公格式转换中的常见问题,提高办公效率。

2026.07.31

112

6

PDF合并文件操作方法与在线批量合并技巧
PDF合并文件操作方法与在线批量合并技巧

本专题聚焦 PDF 文件合并与文档整理需求,整理多个 PDF 合并成一个文件、图片批量转换 PDF、合同附件合并发送以及在线 PDF 合并操作方法等实用教程。通过详细步骤介绍 PDF 合并流程、文件顺序检查技巧和免费在线合并方案,帮助用户快速整理零散文档,提高办公文件处理效率。

2026.07.31

88

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Dify零基础教程
Dify零基础教程

共0课时 | 100人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 94人学习

Dify 部署与运维指南
Dify 部署与运维指南

共0课时 | 0人学习