需在Dify中配置多模型灰度路由：开启灰度发布，主模型（如qwen-72b-v3）分80%流量、备用模型（如gpt-4o-mini-v2）分20%，启用会话亲和性；通过AB测试节点或API参数实现分流；用5类标准测试集评估格式合规性、语义准确率与兜底率，偏差超8%则不可替代；灰度2小时后检查Fallback曲线，异常时手动回滚。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你需要在Dify中让新旧模型并行服务同一套问答接口，按流量比例分发请求，同时采集响应质量、延迟、格式合规性等指标，确保模型升级不引发线上问答质量波动或格式崩坏。
配置多模型灰度路由策略
进入应用编辑页 → 点击左侧导航栏「模型配置」→ 在「推理模型」区域点击「高级设置」展开路由面板。
开启「灰度发布」开关 → 设置主模型（如 【qwen-72b-v3】）为 80% 流量，备用模型（如 【gpt-4o-mini-v2】）为 20% 流量。该比例支持小数点后一位精度，例如 85.5%，但不可设为 0 或 100 —— 否则将退化为全量切换，失去灰度意义。
勾选「会话亲和性（Session Affinity）」：确保同一用户在单次会话周期内始终命中同一模型，避免答案风格突变或上下文错乱。此项一旦关闭，用户第二轮提问可能被分到另一模型，导致角色设定断裂、变量引用失效。
构建AB测试对比任务组
方法一：使用内置AB测试工作流节点
在应用类型为「工作流」的画布中，拖入一个「AB测试」节点 → 双击编辑 → 添加两个分支：A分支绑定模型 qwen-72b-v3，B分支绑定模型 gpt-4o-mini-v2。
设置分流方式为「按用户ID哈希」，分流比例固定为 1:1；启用「自动记录输出日志」，系统将为每条请求打上 branch_id、model_name、response_time、output_length 四个基础字段。
注意：【必须将AB测试节点置于意图识别之后、知识库检索之前】——若放在RAG之后，不同模型看到的检索片段可能因rerank策略差异而不同，导致效果偏差归因错误。
方法二：通过API参数动态指定模型
调用Dify Completion API时，在 payload 中显式传入 model 字段：
{"model": "qwen-72b-v3", "inputs": {"query": "如何办理居住证延期？"}}
在压测脚本中构造两组请求队列，分别指向不同 model 值，并统一携带相同 x-session-id 请求头，便于后端关联上下文与比对轨迹。
验证模型输出一致性
第一步：准备5类标准问答测试集
涵盖政策解释类（如“新生儿医保怎么参保”）、流程引导类（如“失业金申领步骤”）、多跳推理类（如“我去年交了灵活就业社保，今年能转职工养老吗？”）、格式强约束类（如“请用表格列出2026年公积金缴存基数上下限”）、模糊指代类（如“它什么时候开始执行？”）。
第二步：批量提交并采集原始响应
使用 curl 或 Python requests 并行调用，每类问题各发10次，确保每个模型至少获得50条有效响应样本；所有请求必须携带相同 inputs.query 和一致的 history（模拟真实多轮场景）。
第三步：运行结构化比对脚本
将响应导入本地分析工具，按三项维度打分：① 是否返回表格/编号/加粗等指定格式（硬性达标率）；② 关键事实是否与知识库原文一致（语义准确率）；③ 是否出现“我不清楚”“建议咨询有关部门”等回避性表述（兜底率）。任一维度偏差超过 8%，即判定该模型在当前问答场景下不可替代。
上线前执行熔断校验
在灰度环境运行满2小时后，打开「可观测性面板」→ 查看「Fallback触发次数」曲线。若该曲线在任意连续10分钟内上升超过3次，说明备用模型已多次接管失败请求，需立即检查其健康状态。
点击「查看最近一次Fallback详情」→ 拉取原始 error_log，重点确认是否含 “context_length_exceeded” 或 “malformed_output” 错误码。前者需调整上下文截断策略，后者需重写提示词中的输出约束指令。
手动触发一次「强制回滚」：在模型配置页点击「切换至主模型」按钮 → 系统将在3秒内完成全量路由更新，无需重启服务。
