Dify工作流中图片输入多模态理解与标签提取

酷涛姑娘_6260

酷涛姑娘_6260

2026-10-29

375人浏览

原创

必须选择Workflow并启用多模态输入,配置Image/File字段、关闭Document Extractor的“Extract text only”,绑定其输出至Qwen-VL的Image Embedding,用严格JSON Prompt提取结构化标签。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

dify工作流中图片输入多模态理解与标签提取

要在Dify工作流中让AI真正“看懂”用户上传的图片,并从中精准提取出结构化标签(如物体名称、颜色、品牌、缺陷类型等),不能只靠上传图片就指望模型自动理解——必须显式配置多模态解析链路、关闭文本独占模式、并用正确变量名驱动Qwen-VL类模型消费原始像素特征。

确认工作流类型与多模态开关

进入Dify Studio → 点击Create from blank → 【必须选择Workflow】,不能选Chatflow;Chatflow会丢弃所有文件内容体,只保留文件名字符串,后续节点收不到任何图像数据。

创建工作流后,立即点击画布空白处 → 打开全局设置 → 在“Input Schema”中勾选【Enable multi-modal input】;这一步跳过会导致Image/File字段被当作普通字符串处理,payload里压根没有binary_data字段,整个多模态链路从源头失效。

配置图片输入字段(单图 or 多图)

方法一:单图理解任务(如识别一张电路板是否异常)
从左侧拖入User Input节点 → 点击配置 → 添加字段 → 字段类型选Image → 变量名设为(全小写+下划线,不可含空格或中文)→ 标签名写“上传待分析图片” → 支持格式勾选JPEG、PNG、WEBP。

方法二:多图联合分析(如对比前后工序图判断变化)
字段类型选File list → 变量名设为 → 允许上传类型选Both → 支持文件类型只勾选Image → 最多上传数量设为20(Dify硬性上限);注意:该字段输出为数组,后续需用{{#each $input.img_list}}遍历调用。

【关键提醒】变量名若写成ImgInput、img-input或带空格,下游LLM节点将无法通过{{$input.img_input}}引用,直接报undefined error,且错误不提示具体哪一行,排查极耗时。

接入Document Extractor并禁用文本独占模式

第一步:拖入Document Extractor节点 → 输入参数选择或(根据上一步所配字段名严格一致)。

Analyze Video By Qwen Free
Analyze Video By Qwen Free

Qwen 视频智能分析基础客户端(免费版),基于 Qwen 3.5 Plus 多模态模型对本地视频进行内容分析,支持场景描述与基础内容理解,采用默认抽帧频率和提示词,适合快速概览视频,API Key 读取自 ~/.skill-platform/skill-platform.json 的 skills 配置。

下载

第二步:在Document Extractor配置面板中,找到“Extract text only”选项 → 【必须关闭】;默认开启是陷阱,一旦启用,图片只会走OCR流水线,Qwen-VL等视觉模型收不到原始像素输入,无法做物体识别、缺陷定位、跨图比对等任务。

第三步:确认输出变量类型——单图输入时,Document Extractor输出为string(单张图的结构化描述);多图输入时输出为array[string],每项对应一张图的语义描述文本,可直接传给LLM做聚合分析。

配置Qwen-VL节点并编写标签提取Prompt

拖入LLM节点 → 模型选择Qwen-VL或Qwen3-VL(其他多模态模型需确认是否支持Dify当前版本)→ 在Prompt编辑区粘贴以下结构化指令:

你是一个工业质检AI,正在分析用户上传的图片。请严格按JSON格式输出,只包含以下字段:
{ "objects": ["string"], "colors": ["string"], "defect_types": ["string"], "brand": "string", "confidence_score": 0.0 }
不要添加任何解释、前缀、markdown代码块或额外字段。如果某类信息未出现,对应字段填空数组或空字符串。

在LLM节点输入参数中,将Image Embedding字段绑定为Document Extractor的输出(即{{$document_extractor.output}}),确保模型接收到的是已解析的多模态特征,而非原始base64或URL。

这一步操作起来很简单,直接把Document Extractor的输出箭头拖到LLM节点的Image Embedding框里就行。但若绑定错成{{$input.img_input}},模型会收不到图像特征,只拿到一个文件元信息对象,结果全是胡编的标签。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

dify dify工作流 qwen

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Dify 本地部署与企业配置
Dify 本地部署与企业配置

本专题系统讲解 Dify 从零开始的本地部署方法与企业环境配置实践,涵盖 Docker 安装、依赖准备、数据库初始化、反向代理、参数调优、安全加固与多用户开通,帮助开发者与企业团队快速搭建稳定可用的 Dify 平台。

2026.06.05

837

15

Dify Agent智能体开发实战教程
Dify Agent智能体开发实战教程

本专题聚焦 Dify Agent 智能体的设计与开发,涵盖 Agent 模式选择、工具集成、提示词设计、多步推理、上下文记忆与多 Agent 协作,帮助开发者构建可执行复杂业务任务的智能体应用。

2026.06.05

265

15

Dify RAG知识库构建实战教程
Dify RAG知识库构建实战教程

本专题围绕 Dify RAG 知识库的全流程实践展开,从文档导入、分段切片、向量化到混合检索、重排优化与召回评估,帮助你打造高准确率、低幻觉的企业知识问答应用。

2026.06.05

256

15

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

2026.10.28

60

16

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

2026.10.28

20

15

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

2026.10.28

40

10

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

2026.10.22

140

11

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

2026.10.22

80

10

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

2026.10.22

80

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Dify零基础教程
Dify零基础教程

共0课时 | 155人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 156人学习

Dify 部署与运维指南
Dify 部署与运维指南

共0课时 | 0人学习