如何在Dify中部署并调用Llama 3开源模型

酷静酱_9239

酷静酱_9239

2026-06-08

401人浏览

原创

必须本地部署llama 3并接入dify才能实现完全离线运行:先用ollama拉取llama3:8b模型,再通过ollama serve启动服务,最后在dify中配置对应ollama供应商并测试连接成功。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在dify中部署并调用llama 3开源模型

要在Dify中让AI应用真正跑在自己机器上,不依赖任何云API、不上传敏感数据,就必须把Llama 3模型本地部署并接入Dify——这一步做完,你的AI能力就完全掌控在自己手里了。

安装Ollama并拉取Llama 3模型

打开终端,执行安装命令:curl -fsSL https://ollama.com/install.sh | sh。Linux/macOS用户可直接运行;Windows用户需先安装WSL2再操作。

安装完成后,运行 ollama pull llama3:8b 拉取8B参数量的轻量版Llama 3。该版本对显存要求低(最低4GB GPU显存或16GB系统内存即可推理),适合大多数开发测试场景。若设备资源充足,也可改用 llama3:70b,但需确认已配置vLLM或启用GPU offloading。

拉取过程耗时取决于网络,期间不要关闭终端。成功后会显示 Status: download complete。

启动Ollama服务并验证端口

执行 ollama serve 启动服务,默认监听 http://127.0.0.1:11434。此地址是Ollama API的入口,所有模型调用都经由此端点。

新开一个终端,运行 curl http://localhost:11434/api/tags。如果返回包含 "name": "llama3:8b" 的JSON数据,说明服务已就绪。

【注意:Dify容器内无法直接访问localhost】 若Dify通过Docker Compose部署(绝大多数本地安装方式),必须将Ollama服务地址改为宿主机真实IP或特殊Docker网关地址,否则连接必然失败。

在Dify中添加Ollama模型供应商

登录Dify Web界面 → 点击右上角头像 → 设置 → 模型供应商 → 点击“+ 添加模型供应商” → 选择“Ollama”类型。

填写以下三项:

① 模型名称:填 llama3-8b-local(不可含空格或特殊符号,后续创建应用时将从此名称中选择)

Dify Workflow DSL Expert
Dify Workflow DSL Expert

用于创建、编辑、调试或验证自托管 Dify 的工作流 DSL。首先从目标实例导出的工作流入手,进行最小化编辑。

下载

② 基础URL:根据Dify部署方式严格区分——

  • 若Dify为源码启动(非Docker):填 http://localhost:11434

  • 若Dify为Docker部署:填 http://host.docker.internal:11434(macOS/Windows Docker Desktop默认可用)或 http://172.17.0.1:11434(Linux Docker常用网关IP)

③ 模型类型:保持默认“Ollama”不变。

点击“保存”,页面不报错即完成配置。

测试模型连接并创建首个应用

回到“模型供应商”列表页,找到刚添加的条目,点击右侧“测试连接”。等待3秒内出现绿色提示“模型连接成功”,代表Dify已能稳定调用本地Llama 3。

进入“工作室” → “+ 创建应用” → 类型选“聊天型” → 应用名称随意(如“本地Llama3助手”)→ 下一步。

在“模型配置”页,模型下拉框中选择你刚命名的 llama3-8b-local,其余参数保持默认即可。

点击“创建”,进入编辑页后,直接点击右上角“发布”按钮,再点击“打开应用”。在弹出的对话窗口中输入“你好”,看到Llama 3返回中文回复,即表示整个链路打通。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

dify

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Dify 本地部署与企业配置
Dify 本地部署与企业配置

本专题系统讲解 Dify 从零开始的本地部署方法与企业环境配置实践,涵盖 Docker 安装、依赖准备、数据库初始化、反向代理、参数调优、安全加固与多用户开通,帮助开发者与企业团队快速搭建稳定可用的 Dify 平台。

2026.06.05

597

15

Dify Agent智能体开发实战教程
Dify Agent智能体开发实战教程

本专题聚焦 Dify Agent 智能体的设计与开发,涵盖 Agent 模式选择、工具集成、提示词设计、多步推理、上下文记忆与多 Agent 协作,帮助开发者构建可执行复杂业务任务的智能体应用。

2026.06.05

245

15

Dify RAG知识库构建实战教程
Dify RAG知识库构建实战教程

本专题围绕 Dify RAG 知识库的全流程实践展开,从文档导入、分段切片、向量化到混合检索、重排优化与召回评估,帮助你打造高准确率、低幻觉的企业知识问答应用。

2026.06.05

216

15

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

2026.10.08

0

20

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

2026.09.30

120

10

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

2026.09.30

100

14

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

2026.09.30

80

12

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

2026.09.30

80

26

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

2026.09.29

100

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Dify零基础教程
Dify零基础教程

共0课时 | 148人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 142人学习

Dify 部署与运维指南
Dify 部署与运维指南

共0课时 | 0人学习