扣子多模态语音交互设置与接入实战

老静小哥_3916

老静小哥_3916

2026-06-17

668人浏览

原创

必须同步打通asr、多模态理解、tts三段通路,缺一不可;需启用工作区多模态能力、配置asr(内置或第三方)、绑定multimodal大模型、接入tts并正确映射audio_url,最后通过日志验证全流程。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

扣子多模态语音交互设置与接入实战

要在扣子平台实现用户通过语音提问、智能体实时听懂并语音回复的完整链路,必须同步打通输入端语音识别(ASR)、中间层多模态理解、输出端语音合成(TTS)三段通路——漏掉任一环节,语音消息就会卡在“正在转写”状态或直接变成文字气泡,用户永远听不到一句人声回复。

确认工作区已启用多模态能力

登录扣子后台 → 点击左上角头像 → 进入「设置」→ 找到「高级功能」选项卡 → 开启「多模态输入支持」开关。

这一步不可跳过。未开启时,即使后续接入了语音插件,用户发送的语音也会被自动过滤,【系统不会报错,但所有多模态节点将静默失效】。

配置语音识别(ASR)服务

方法一:使用扣子内置ASR插件(推荐新手)
进入智能体编辑页 → 左侧工具栏点击「插件」→ 搜索“语音识别” → 选择官方「语音转文字(ASR)」插件 → 点击「添加」→ 在插件配置中勾选「启用实时流式识别」。

方法二:对接第三方ASR API(适合已有语音服务的企业)
在「插件」→「自定义HTTP插件」中新建插件 → 填写ASR服务商提供的POST接口地址(如阿里云智能语音交互的/v1/asr)→ 设置Header含Authorization和Content-Type → 请求体Body模板中插入变量{{audio_base64}} → 输出字段映射为text。

注意:若使用方法二,音频编码格式必须为PCM(16kHz、单声道、16bit),其他格式(如MP3、OPUS)会导致识别失败且无错误提示。

绑定适配语音任务的大模型

进入智能体编辑页 → 点击右上角「模型设置」→ 在模型列表中筛选带「multimodal」标签的模型(如「Doubao-Pro-VL」「Qwen-VL-Plus」)→ 点击选中并保存。

One API key for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more
One API key for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more

统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。

下载

普通文本模型(如「Doubao-7B」)无法解析语音特征向量,强行使用会导致输入中断在预处理阶段;而部分标有「VL」但未标注「multimodal」的模型,实测仅支持图文对齐微调,不支持端到端跨模态推理——务必认准官方标注。

接入TTS语音合成服务

第一步:在插件市场搜索并添加「语音合成(TTS)」官方插件
第二步:点击插件右侧「配置」→ 选择音色(推荐「zh-cn-xiaoyan」女声或「zh-cn-yunxi」男声)→ 设置语速为1.0 → 勾选「启用流式音频输出」
第三步:在工作流中,将大模型节点的text输出连接至TTS插件的input字段
第四步:TTS插件输出字段audio_url需映射至最终响应节点的audio_url参数

若需支持多语言TTS,必须在「设置中心」→「基础配置」→「启用多语言交互」开关打开,并在TTS插件配置中手动指定lang参数(如en-US、ja-JP),否则默认只合成中文。

测试与调试语音链路

进入智能体「测试」页 → 点击麦克风图标开始说话 → 观察左侧日志面板是否出现「ASR完成」「模型推理完成」「TTS生成成功」三段连续日志。

若卡在ASR环节:检查浏览器是否授予麦克风权限,且当前页面为HTTPS协议(HTTP下Chrome禁用麦克风API)。

若TTS返回空白音频:确认TTS插件输出字段是否正确映射到响应节点的audio_url,【audio_url必须是直链可播放的MP3或WAV地址,不能是JSON对象或base64字符串】。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

扣子 qwen

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
扣子智能体开发实操指南
扣子智能体开发实操指南

本专题面向开发者与产品同学,完整讲解扣子智能体Bot从零到一的搭建流程,包括Bot创建、提示词编写、插件接入、变量与记忆配置、调试与多渠道发布,帮助你打造属于自己的AI助手。

2026.06.05

454

14

扣子工作流全功能使用教程
扣子工作流全功能使用教程

本专题系统讲解扣子工作流的搭建逻辑与节点使用,覆盖LLM节点、代码节点、条件分支、循环节点与子工作流等核心能力,配合15个实战案例,帮助你用工作流把复杂业务流程自动化。

2026.06.05

354

15

扣子知识库零基础入门
扣子知识库零基础入门

本专题围绕扣子知识库与记忆系统,详细讲解知识库创建、文档上传、切片策略、向量召回、问答调优以及变量记忆与数据库的使用方法,帮助你打造高准确率的私有知识问答能力。

2026.06.05

447

15

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

2026.10.08

0

20

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

2026.09.30

120

10

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

2026.09.30

100

14

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

2026.09.30

80

12

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

2026.09.30

80

26

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

2026.09.29

100

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程