dify高并发下需自动降级备用模型：启用配额监控并刷新缓存；在高级配置中设gpt-4-turbo主模型阈值8000，备用链路为claude-3-haiku→qwen2-72b→gemini-1.5-flash；启用自动回切；推荐启用精确token预估；绑定含model_fallback_triggered的日志告警。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
当Dify应用在高并发场景下遭遇模型API限频或Token超支时，需自动切换至成本更低、响应更快的备用模型，避免请求失败或用户体验中断。
确认当前工作区已启用模型额度监控
进入【团队设置】→【模型管理】→【配额监控】，勾选“启用Token消耗实时统计”。【未启用此选项会导致后续降级逻辑无法获取准确消耗数据】
点击右上角“刷新配额缓存”，确保页面显示的“今日已用Token”数值实时更新（延迟不超过15秒）。
定义动态降级触发阈值与模型优先级
在【应用设置】→【高级配置】→【模型降级策略】中，点击“添加规则”：
① 设置主模型为 gpt-4-turbo，阈值类型选“单次请求Token消耗”，上限填 8000；
② 备用模型链路按顺序填写：claude-3-haiku → qwen2-72b → gemini-1.5-flash；每级之间用英文逗号分隔；
③ 勾选“启用自动回切”，表示当主模型连续3次调用Token消耗低于4000时，自动恢复使用gpt-4-turbo。
配置模型调用前的Token预估拦截器
方法一：基于Prompt长度粗估
Gemini Notebook网页版是一款基于AI的智能笔记工具，其核心功能是让用户上传个人文档（如PDF、文本等），并以此为基础进行交互。它能针对你的资料进行总结、解答疑问、生成新内容，让信息处理更高效。该版本为在线使用，无需下载安装。
在【编排工作流】节点中，双击LLM调用组件，在“前置脚本”栏粘贴以下JavaScript代码：
const promptLen = inputs.query?.length || 0;
if (promptLen > 1200) {
return { model: "qwen2-72b" };
}
方法二：启用Dify内置Token预估（推荐）
在同个LLM组件配置页，展开【高级参数】→开启“启用Token预估”，选择“精确模式”；【该模式会真实调用tokenizer接口，比字符长度估算误差率低于3%】
绑定降级日志与告警通道
进入【运维中心】→【日志分析】→【新建告警规则】：
条件设为：日志包含 “model_fallback_triggered” 且过去5分钟内出现次数 ≥ 3；
通知方式选企业微信机器人，并在消息模板中插入变量 {{fallback_target}} 和 {{estimated_tokens}}；
保存后，立即点击右侧“测试告警”，验证Webhook能否正常接收含降级目标模型名称的日志快照。
