dify中需≥1.7.0版本、开通asr/llm/model权限、配置groq api密钥及whisper-large-v3 onnx模型,启用asr词级时间戳,构建audio-to-text→llm→tts语音闭环工作流。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

你需要在Dify中快速构建一个低延迟、高精度的语音助手,让会议录音、客服通话或现场访谈音频秒级转成结构化文字,并直接接入LLM生成响应——Groq提供毫秒级LLM推理,Whisper-large-v3保障专业级ASR,二者协同可绕过云端API调用瓶颈与数据出境风险。
确认Dify版本与Groq/Whisper兼容性
进入Dify控制台右上角「关于」页面,核对当前版本号≥1.7.0;低于该版本不支持Audio-to-Text节点与Groq模型并行调度能力,无法启用双引擎协同模式。
检查团队权限:在「团队设置→角色管理」中确认当前账号已分配asr:use、llm:use和model:deploy三项权限,缺一将导致Groq模型不可见、Whisper配置面板灰显。
【Groq API密钥必须为有效且未达配额上限的key】,否则后续测试时Audio-to-Text节点输出为空,且无错误日志提示。
添加Groq为LLM推理引擎
方法一:通过API密钥直连(推荐用于开发验证)
进入「设置→模型供应商→添加模型」,填写:
模型名称:groq-llama3-70b
模型类型:llm
提供商:groq
API密钥:粘贴从Groq Console复制的密钥
模型名称字段填:llama3-70b-8192(注意拼写完全一致,大小写敏感)
方法二:使用环境变量托管(生产环境必需)
编辑Dify部署服务器上的.env文件,在末尾新增一行:GROQ_API_KEY=your_actual_key_here
保存后执行docker compose restart api重启服务,再回到模型添加页,选择「Groq(环境变量)」作为提供商,其余字段留空即可自动读取。
添加成功后,模型列表中将出现groq-llama3-70b,状态显示“已就绪”,点击右侧「测试」按钮输入“你好”应于800ms内返回响应。
配置Whisper-large-v3为ASR引擎
第一步:上传ONNX量化模型至本地路径
将whisper-large-v3-int8.onnx文件上传至服务器路径/opt/dify/models/whisper/,确保文件权限为644且属主为dify用户。
第二步:在Dify控制台注册该模型
进入「设置→模型供应商→添加模型」,选择「本地路径」模式,填写:
模型名称:whisper-large-v3-zh
模型类型:asr
模型路径:/opt/dify/models/whisper/whisper-large-v3-int8.onnx
勾选「启用ONNX Runtime加速」
运行时选python3.10,框架选onnxruntime
第三步:关键参数校验
保存后等待约90秒,状态变为“已就绪”即表示加载完成。此时需立即进入「设置→系统配置→高级」,将ASR_WORD_TIMESTAMPS_ENABLED设为true——【此开关默认关闭,不开启则输出无分词时间戳,后续TTS同步将失效】。
搭建语音闭环工作流
新建应用时选择「语音处理」模板,进入「编排→节点管理」:
① 添加「Audio-to-Text」节点,ASR引擎选择whisper-large-v3-zh,启用word_timestamps和language=zh;
② 添加「LLM」节点,模型选择groq-llama3-70b,在提示词中插入变量{{audio_transcript}};
③ 添加「Text-to-Speech」节点(若需语音回复),选用Dify内置coqui-tts-zh模型,输入文本字段绑定{{llm_output}};
④ 将三个节点按顺序连接:Audio-to-Text → LLM → Text-to-Speech。
上传一段16kHz单声道WAV格式的5秒中文录音(如“今天天气怎么样?”),点击「运行测试」,完整链路应在2.1秒内返回带时间戳的识别文本+LLM回答+可播放音频流。











