怎样用Dify构建多模态AI内容生成工作台

陌静君_8250

陌静君_8250

2026-07-27

790人浏览

原创

dify可视化工作流集成豆包插件可一站式实现文生图、文生视频、图生视频三模态串联。需部署dify、配置豆包插件(开通多模态权限)、搭建含条件路由与合并输出的工作流,并通过api调用返回24小时有效url。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

怎样用dify构建多模态ai内容生成工作台

你需要一个能同时生成图片、视频甚至让静态图动起来的AI内容生产环境,而不是分别调用多个API拼凑流程。Dify可视化工作流配合豆包插件,能把文生图、文生视频、图生视频三类能力串成一条可复用、可调试、可对外提供服务的完整链路。

部署Dify并接入豆包插件

打开终端,执行以下命令拉取最新版Dify代码并启动服务:

git clone https://github.com/langgenius/dify.git → cd dify/docker → cp .env.example .env → 修改 .env 中 EXPOSE_NGINX_PORT=9060(避免与本地其他服务冲突)→ sudo docker compose up -d

等待容器启动完成(约90秒),浏览器访问 http://localhost:9060/install 完成管理员初始化。这一步必须做完,否则后续无法添加插件。

登录后进入「设置 → 插件」页面,点击「添加插件」→ 选择「DouBao」→ 填写豆包开放平台获取的 【API Key 和 Base URL】 → 点击「测试连接」确认绿色对勾出现。注意:豆包插件需在开放平台开通「多模态生成」权限,否则文生视频节点会报错403。

搭建三模态串联工作流

进入「工作流」→ 「新建工作流」→ 命名为“多模态内容生成台”。拖入以下节点并按顺序连接:

① 用户输入节点 → 绑定变量 input_text(文本描述)和 input_image(可选上传图)

② 条件路由节点 → 设置判断逻辑:【if input_image != null then 走图生视频分支,else 走文生图+文生视频分支】

③ 文生图节点 → 选择豆包插件 → 模型选 doudou-v1 → 提示词字段填 {{input_text}} → 输出类型设为 image_url

豆包创意设计
豆包创意设计

当用户要求生成、编辑、改图、修图、重绘、文生图、图生图、扩图、换背景、换风格、局部替换、参考图衍生、系列延展或多比例适配商业创意图片时使用;触发任务包括做图、出图、生成图片、设计海报、主视觉/KV、Banner、封面、社媒配图、社媒长图、电商主图、详情页、产品图、Logo、IP角色、吉祥物、包装、品牌应用物料、活...

下载

④ 文生视频节点 → 同样选豆包插件 → 模型选 douyin-video-v2 → 输入字段填 {{input_text}} → 视频时长设为10秒 → 输出类型设为 video_url

⑤ 图生视频节点 → 插件同上 → 模型选 douyin-image2video-v1 → 输入字段填 {{input_image}} → 必须勾选「启用运动增强」,否则生成结果静止不动

⑥ 合并输出节点 → 将三个分支的 image_url / video_url / video_url 统一映射到 output 字段,格式为 JSON:
{"image": "{{node_3.output}}", "video": "{{node_4.output}}", "animated_video": "{{node_5.output}}"}

配置前端调用接口

工作流保存后,点击右上角「发布」按钮。系统自动生成唯一 API 地址,形如 https://your-domain.com/api/workflows/xxx/run

复制该地址,在 Postman 或 curl 中发起 POST 请求,Header 加入 Authorization: Bearer 【你的API Key】,Body 使用 raw → JSON 格式提交:

{"inputs": {"input_text": "一只穿宇航服的橘猫站在火星表面眺望地球", "input_image": ""}}

若需传图,input_image 字段值应为 base64 编码字符串(前端可用 FileReader.readAsDataURL() 获取),且总请求体不能超过 10MB。

成功响应返回包含三个 URL 的 JSON,每个链接有效期 24 小时,到期自动失效。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
即梦AI视频生成实战教程
即梦AI视频生成实战教程

本专题全面讲解视频故事创作与风格化处理方法。通过实例操作,掌握即梦AI运镜控制、画质优化和创意特效技巧,轻松实现高质量视频制作。适合新手与专业创作者快速上手,提升视频内容创新力与制作效率。

2026.05.14

944

15

ape怎么转wav
ape怎么转wav

ape可以通过使用音频转换软件、使用在线转换工具和音频编辑软件的方法转wav格式。在转换完成后,可以使用音频播放器或编辑软件打开转换后的WAV文件,以确保转换质量和文件完整性。更多关于ape相关的文章,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.21

3158

8

WorkBuddy核心功能与实操模式
WorkBuddy核心功能与实操模式

深入探索WorkBuddy的强大功能。本专题包含智能问答、文档处理、会议纪要生成、日程管理、任务协作等核心模块的操作指南与最佳实践。通过图文并茂的教程,助您快速上手,最大化发挥WorkBuddy的办公效能。

2026.04.09

622

19

Dify 本地部署与企业配置
Dify 本地部署与企业配置

本专题系统讲解 Dify 从零开始的本地部署方法与企业环境配置实践,涵盖 Docker 安装、依赖准备、数据库初始化、反向代理、参数调优、安全加固与多用户开通,帮助开发者与企业团队快速搭建稳定可用的 Dify 平台。

2026.06.05

677

15

Dify Agent智能体开发实战教程
Dify Agent智能体开发实战教程

本专题聚焦 Dify Agent 智能体的设计与开发,涵盖 Agent 模式选择、工具集成、提示词设计、多步推理、上下文记忆与多 Agent 协作,帮助开发者构建可执行复杂业务任务的智能体应用。

2026.06.05

265

15

Dify RAG知识库构建实战教程
Dify RAG知识库构建实战教程

本专题围绕 Dify RAG 知识库的全流程实践展开,从文档导入、分段切片、向量化到混合检索、重排优化与召回评估,帮助你打造高准确率、低幻觉的企业知识问答应用。

2026.06.05

236

15

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

2026.10.16

0

10

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

2026.10.16

0

10

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

2026.10.16

0

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Dify零基础教程
Dify零基础教程

共0课时 | 150人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 149人学习

Dify 部署与运维指南
Dify 部署与运维指南

共0课时 | 0人学习