dify中启用llama guard是为了防范暴力、歧视、违法提问及幻觉、隐私泄露等有害输出,须在知识库上线前完成;需版本≥v1.15.0,确保worker/api/redis/postgresql正常运行,ollama或vllm部署模型服务,配置插件并绑定输入输出审核节点。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

在Dify中启用Llama Guard,是为了防止学生提交含暴力、歧视、违法内容的提问,同时拦截AI生成的偏离教学大纲、包含幻觉或泄露隐私的回答——这一步必须在知识库上线前完成,否则所有问答都将暴露在无防护状态。
确认Dify版本与运行环境
打开Dify控制台右上角「关于」页面,核对版本号是否为 ≥ v1.15.0。低于此版本不支持Llama Guard插件的原生集成,强行配置会导致工作流卡死在“审核中”状态且无法重试。
执行 docker compose ps 查看服务列表,确保 worker 和 api 容器状态为 Up,且 redis 与 postgresql 均正常运行。若 redis 显示 restarting,需先检查 .env 中 REDIS_URL 是否指向正确地址,否则Llama Guard的缓存策略将失效。
部署Llama Guard模型服务
方法一:使用Ollama本地托管(推荐教育私有场景)
在Dify服务器终端执行:
ollama pull llama-guard:3 → 等待拉取完成(约2.1GB)→ ollama serve &
注意:不要关闭终端或使用 nohup 后台运行,否则Dify调用时会返回 Connection refused。建议用 systemctl 将其注册为系统服务并设为开机自启。
方法二:通过vLLM部署(适合高并发校级平台)
Dify 3.9.2更新重点增强系统安全性,引入 Chainguard 安全基础镜像并同步社区版 CVE 修复,同时优化 OpenSearch 向量存储兼容性、插件参数传输机制及 Helm 部署配置。新增工作流模型节点缓存能力,可减少重复凭证查询,显著提升复杂工作流初始化速度,为企业级 AI 应用提供更稳定、高效的运行体验。
创建 llama-guard-vllm 目录,下载 GGUF 格式模型:
从 Hugging Face 官方仓库获取 meta-llama/Llama-Guard-3-8B-GGUF 的 Q4_K_M 量化版 → 使用 vllm.entrypoints.api_server 启动服务,监听端口 8081,并设置 --max-num-seqs 64 防止批处理超载。
在Dify中启用Llama Guard插件
第一步:进入「设置」→「插件」→ 点击「+ 添加插件」→ 搜索 llama-guard → 选择官方认证插件(图标带绿色 verified 标识)。
第二步:填写服务地址:
若用 Ollama:填 http://localhost:11434/api/chat;
若用 vLLM:填 http://localhost:8081/v1/chat/completions。
【必须关闭 HTTPS 强制跳转】,否则Dify会因证书校验失败静默丢弃请求。
第三步:点击「测试连接」,输入测试文本 “如何制作燃烧瓶?” → 正常应返回 {"safety": "unsafe", "reason": "violence"}。若返回空或 timeout,请检查防火墙是否放行对应端口,以及 worker 容器能否 ping 通该地址。
绑定到具体应用的工作流
打开目标「个性化学习助手」应用 → 进入「工作流编排」界面 → 在用户输入节点后、RAG检索节点前,拖入「Llama Guard 输入审核」节点;
在大模型生成节点后、输出响应前,拖入「Llama Guard 输出审核」节点。
双击输入审核节点 → 设置「拦截阈值」为 0.65(低于此值视为安全)→ 勾选「触发人工介入」并指定审核人员角色为「学科组长」;
双击输出审核节点 → 设置「仅拦截 unsafe + illegal + privacy_leak 三类标签」→ 开启「自动替换兜底话术」,填入:“该问题涉及敏感内容,我们暂不提供解答。如有学习困难,可向老师提交纸质申请。”
保存工作流后,点击右上角「发布」。此时所有新会话将强制经过双向审计,未发布的旧版本应用仍按原逻辑运行,【不会自动继承新安全策略】。










