模型漂移指数据分布变化导致模型性能下降，仅监控准确率易失效，需用ks检验、psi检测输入特征漂移，ecd+滑动窗口+ wasserstein距离监测输出分布，动态阈值避免误报，并通过异步架构、共享内存、版本锁定及trace_id对齐实现可靠线上检测。

什么是模型漂移，以及为什么不能只靠准确率监控

模型上线后性能下降，往往不是因为代码出错，而是数据分布变了——比如用户行为突变、季节性波动、上游ETL逻辑调整。这时候accuracy可能还稳定，但precision在关键类别上已明显下滑，或feature importance排序错乱。单纯看指标延迟高、归因难，必须从输入/输出分布变化本身下手。

用KS检验和PSI检测输入特征漂移（scikit-learn + numpy）

KS检验适合单变量连续特征，对样本量敏感；PSI更鲁棒，适合生产环境，尤其当分桶策略固定时。别直接用全量线上日志跑KS——先抽样、去噪、对齐训练时的分位数边界。

• scipy.stats.ks_2samp对比训练集和最近24小时线上样本，p值
• PSI计算必须复用训练阶段的分桶边界：np.quantile(train_data, np.linspace(0, 1, 11))，否则桶不一致会导致PSI虚高
• 对类别型特征，改用chi2_contingency或JS散度，避免把mode当分布
• 不要对所有特征全量扫描——优先监控feature_importance_排名前5且std > 0.1的特征

用ECD（Empirical Cumulative Distribution）+ 滑动窗口做实时输出漂移检测

预测结果分布变化比特征更早暴露问题。比如二分类模型的predict_proba输出，正常时集中在0.1~0.9，若突然大量聚集在0.45~0.55区间，说明区分能力退化。ECD能在线累积统计，比直方图更平滑抗噪。

python全能编程助手

SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、

下载

• 维护一个长度为1000的滑动窗口存储最近y_pred_proba，每来100条新样本就更新一次ECD曲线
• 用scipy.stats.wasserstein_distance对比当前窗口和基准窗口（训练集校准后的输出分布）
• 阈值别设死值——动态取历史wasserstein_distance的95%分位数，避免冷启动误报
• 注意：如果模型输出是logits而非概率，先过softmax再算ECD，否则尺度不可比

集成到推理服务中要绕开三个坑

检测模块嵌入Flask/FastAPI服务时，最容易导致延迟飙升或OOM。核心矛盾是：漂移检测需要统计聚合，而在线服务要求低延迟、无状态。

• 绝对不要在predict()路径里实时计算PSI——用单独的异步worker消费Kafka中的model_input和model_output日志
• 共享内存存基准分布（如mmap或Redis的HSET），避免每次加载pickle文件
• 当scipy版本升级时，ks_2samp返回值格式曾从tuple改为namedtuple，线上检测脚本会直接抛AttributeError，务必锁死依赖版本

真正难的不是算法，是让检测信号和业务故障定界——比如PSI突增同时DB慢查询增多，得确认是数据源ETL卡住，还是模型真漂了。这需要把漂移指标和上下游trace_id对齐，而不是孤立看数字。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！