扣子多模态智能体实战开发手册

冬磊姑娘_6625

冬磊姑娘_6625

2026-06-08

638人浏览

原创

要在扣子平台快速搭建多模态智能体,必须调用专用插件与模型:图像需启用dall·e 3和clip并加约束提示;音频需启用whisper/tts或openclaw tts pro(须绑定api密钥);视频需启用videollama(≥2.1.3)并配置工作流分支逻辑。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

扣子多模态智能体实战开发手册

要在扣子平台快速搭建能处理图像、音频、视频的多模态智能体,必须绕过纯文本思维定式,直接调用对应模态的专用插件与模型,否则生成结果将严重偏离预期。

创建支持图像理解与生成的智能体

第一步:进入扣子工作台→点击左上角⊕→选择「创建智能体」→在「AI 创建」输入框中明确写入“能看图识物并根据描述生成高清图片的助手”,系统会自动匹配多模态模型与图像插件。

第二步:进入编排页面后,检查中间「工具」面板是否已启用「文生图(DALL·E 3)」和「图生文(CLIP)」两个插件——【若未自动启用,必须手动勾选,否则后续所有图像交互均会返回错误】。

第三步:在左侧「人设与回复逻辑」中加入约束性提示词:“你必须先用图生文插件分析用户上传的图片内容,再决定是否调用文生图插件;禁止对未上传图片的请求直接生成图像”。这一步防止模型擅自虚构图像输入源。

接入音频类能力实现语音转文字与合成

方法一:使用内置语音插件

在「工具」面板中启用「语音识别(Whisper)」和「语音合成(TTS)」插件,然后在「人设与回复逻辑」中添加指令:“当用户发送语音消息时,优先调用Whisper转为文字再处理;当需要输出语音时,必须调用TTS插件生成MP3并以卡片形式返回”。

方法二:通过OpenClaw扩展高保真音色

前往「插件市场」搜索OpenClaw→安装「OpenClaw TTS Pro」→在技能配置中绑定自定义音色ID→注意:该插件需单独授权API密钥,【未完成密钥绑定前,所有语音合成请求将静默失败】。

构建视频理解与生成工作流

① 在「工具」面板中启用「视频理解(VideoLLaMA)」插件,并确认其版本号≥2.1.3(旧版本不支持短视频帧提取)。

② 新建一个「工作流模式」智能体,拖入「视频上传节点」→连接「视频理解节点」→再连接「文生视频(Runway Gen-3)」节点。

③ 设置分支逻辑:当视频时长<60秒且含人脸时,触发「人脸情绪分析」子流程;否则跳过。此判断必须放在视频理解节点之后,否则无法获取元数据。

④ 测试时上传MP4文件,观察右侧调试面板是否显示“video_duration: 47s, face_count: 2, emotion: neutral”——只有出现这类结构化输出,才代表视频理解链路打通。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

扣子 扣子智能体

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
扣子智能体开发实操指南
扣子智能体开发实操指南

本专题面向开发者与产品同学,完整讲解扣子智能体Bot从零到一的搭建流程,包括Bot创建、提示词编写、插件接入、变量与记忆配置、调试与多渠道发布,帮助你打造属于自己的AI助手。

2026.06.05

454

14

扣子工作流全功能使用教程
扣子工作流全功能使用教程

本专题系统讲解扣子工作流的搭建逻辑与节点使用,覆盖LLM节点、代码节点、条件分支、循环节点与子工作流等核心能力,配合15个实战案例,帮助你用工作流把复杂业务流程自动化。

2026.06.05

354

15

扣子知识库零基础入门
扣子知识库零基础入门

本专题围绕扣子知识库与记忆系统,详细讲解知识库创建、文档上传、切片策略、向量召回、问答调优以及变量记忆与数据库的使用方法,帮助你打造高准确率的私有知识问答能力。

2026.06.05

447

15

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

2026.10.08

0

20

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

2026.09.30

120

10

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

2026.09.30

100

14

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

2026.09.30

80

12

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

2026.09.30

80

26

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

2026.09.29

100

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
扣子入门级教程
扣子入门级教程

共0课时 | 273人学习

扣子官方文档
扣子官方文档

共0课时 | 0人学习