如何在Dify中配置语音识别(STT)和语音合成(TTS)服务

夜萱君_4499

夜萱君_4499

2026-06-16

745人浏览

原创

必须完成stt与tts服务配置:启用平台级语音开关,严格匹配音频格式(wav/16khz)、采样率与输出格式(如24khz mp3),并在workflow中按“语音输入→asr→llm→tts→响应输出”串联节点,确保端到端延迟≤2.8秒。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在dify中配置语音识别(stt)和语音合成(tts)服务

要在Dify中让AI应用真正“听懂说话”并“开口回答”,必须完成语音识别(STT)和语音合成(TTS)两个服务的配置。这不只是勾选开关或填几个API密钥的事——音频格式不匹配会导致ASR节点直接报错,TTS输出格式未指定可能让前端无法播放,而缺少采样率校验会把16kHz录音误当8kHz处理,识别准确率断崖式下跌。

启用Dify平台级语音服务开关

登录Dify控制台,进入【设置】→【系统配置】→【语音服务】页签。将「语音识别服务」和「语音合成服务」两个全局开关均设为启用状态。注意:该操作需管理员权限,普通成员无法修改。若页面无此选项,说明当前部署版本低于0.8.0,需升级Dify或改用Docker环境变量强制开启:tts_service_enabled=true、asr_service_enabled=true。

重启Dify服务使配置生效。Docker用户执行 docker restart dify;二进制部署用户需手动杀进程后重新启动主程序。

配置语音识别(STT/ASR)服务

进入【数据集】→【语音识别模型】→【新增模型】。

方法一:接入阿里云智能语音交互API
在「服务类型」中选择「HTTP API」,填写以下字段:
URL:https://nls-gateway.cn-shanghai.aliyuncs.com/stream/v1/asr
请求方法:POST
Headers中添加:Authorization: Bearer {{api_token}} 和 Content-Type: application/json
Body使用JSON模板,【format字段必须设为wav,sample_rate必须为16000,否则90%的中文语音将无法识别】。

方法二:本地部署Whisper推理服务
启动一个Flask服务监听/whisper端点,接收base64编码的WAV音频,返回JSON格式文本。在Dify中配置为「自定义模型」,协议选HTTP,超时时间设为30秒——因为1分钟语音在CPU上推理可能耗时25秒以上。

Dify
Dify

Dify AI应用开发平台指南。用于构建LLM应用、工作流、Agent和知识库。当用户需要(1)使用Dify创建AI应用 (2)设计LLM工作流 (3)配置知识库RAG (4)开发AI Agent (5)调用Dify API (6)自托管部署Dify时激活此技能。

下载

方法三:使用Dify内置通用模型(仅限SaaS版)
直接下拉选择「通用中文模型(v2.3)」,无需填密钥。该模型已针对客服对话、会议记录等场景优化,但不支持行业术语微调。

配置语音合成(TTS)服务

第一步:确认语音引擎可用性
在【设置】→【插件管理】中检查「TTS引擎」是否已安装。若未列出,需先上传插件包或通过CLI命令安装:dify-cli plugin install tts-azure 或 dify-cli plugin install tts-sambert。

第二步:配置具体引擎参数
以Azure Cognitive Services为例,在插件配置页填写:
• API Key:从Azure门户复制的密钥
• Region:如eastasia(对应中国东部)
• Voice ID:zh-CN-XiaoxiaoNeural(推荐女声,自然度高)
• Output Format:audio-24khz-96kbitrate-mono-mp3(【必须选含24khz的格式,否则Dify工作流节点会静音输出】)

第三步:验证TTS输出质量
在配置页底部点击「测试合成」,输入“你好,今天天气不错”,等待音频生成。若返回空文件或播放无声,立即检查两点:① Azure订阅是否开通语音服务;② 返回的Content-Type是否为audio/mp3而非text/plain。

在Workflow中串联STT与TTS节点

① 新建Workflow应用,拖入「语音输入」节点作为起点。配置其「音频格式」为WAV、「采样率」为16000、「声道数」为1。
② 接「ASR识别」节点,选择上一步配置好的ASR模型。该节点输出变量名为asr_text。
③ 接「LLM推理」节点,用提示词提取意图并润色文本,输出变量设为tts_input。
④ 接「TTS合成」节点,选择已配好的TTS引擎,将输入字段绑定为{{tts_input}}。
⑤ 最后接「响应输出」节点,在「媒体类型」中选择「音频」,字段值填{{tts_output.audio_url}}。

保存并发布Workflow。用手机录制一段10秒中文语音上传测试,端到端延迟应稳定在2.8秒以内。若超过4秒,优先检查ASR节点是否启用了噪声抑制预处理模块。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

dify

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Dify 本地部署与企业配置
Dify 本地部署与企业配置

本专题系统讲解 Dify 从零开始的本地部署方法与企业环境配置实践,涵盖 Docker 安装、依赖准备、数据库初始化、反向代理、参数调优、安全加固与多用户开通,帮助开发者与企业团队快速搭建稳定可用的 Dify 平台。

2026.06.05

717

15

Dify Agent智能体开发实战教程
Dify Agent智能体开发实战教程

本专题聚焦 Dify Agent 智能体的设计与开发,涵盖 Agent 模式选择、工具集成、提示词设计、多步推理、上下文记忆与多 Agent 协作,帮助开发者构建可执行复杂业务任务的智能体应用。

2026.06.05

265

15

Dify RAG知识库构建实战教程
Dify RAG知识库构建实战教程

本专题围绕 Dify RAG 知识库的全流程实践展开,从文档导入、分段切片、向量化到混合检索、重排优化与召回评估,帮助你打造高准确率、低幻觉的企业知识问答应用。

2026.06.05

236

15

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

2026.10.16

60

10

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

2026.10.16

40

10

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

2026.10.16

40

10

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

2026.10.16

20

15

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

2026.10.16

20

15

Revel框架入门与安装配置
Revel框架入门与安装配置

本专题从Revel框架环境搭建讲起,系统介绍命令行工具安装、项目创建、目录结构、配置文件及热代码重载,帮助开发者快速完成首个Go Web应用。

2026.10.16

20

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Dify零基础教程
Dify零基础教程

共0课时 | 151人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 149人学习

Dify 部署与运维指南
Dify 部署与运维指南

共0课时 | 0人学习