根本原因是离线评估在特征、样本、环境三方面未与线上对齐：特征不一致（sql与go实现差异、实时延迟）、样本分布漂移（仅用曝光样本导致负例缺失）、评估指标失真（auc忽略位置偏差与业务目标）。
离线评估指标好看但线上业务指标下跌，根本原因不是模型“学错了”，而是离线评估过程本身在模拟线上场景时存在系统性偏差——特征、样本、环境三者只要有一项没对齐，指标就不可信。
特征不一致：离线用SQL拼，线上用Go算，结果早就不一样了
离线训练时特征常由SQL在Hive或Spark里加工，而线上服务用C++/Go实时计算；同一逻辑写两遍，漏掉一个空值处理、少个时区转换、浮点精度不一致，特征值就偏了。更隐蔽的是实时特征延迟：比如“过去1小时点击数”在离线回刷时是完整统计，上线后若因Kafka积压或Flink反压导致更新滞后5分钟，模型看到的就是过期状态。
- 检查手段：
feature_hash比对——对同一批用户ID，在离线和线上各取一次特征，做MD5哈希后对比 - 关键动作：强制统一特征生成代码，用
tf.saved_model.save或torch.jit.script把特征工程逻辑打包进模型，避免双实现 - 警惕“伪实时”特征：如用
datetime.now()生成时间窗口，在离线回放时会固定成训练当天时间，线上却是真实时间
样本分布漂移：离线只看曝光样本，线上要筛召回池
离线训练数据通常来自“已曝光→有行为”的日志，天然过滤掉了大量未曝光的负样本；而线上模型要对整个召回集打分排序，面对的是完全不同的候选分布。这导致模型在离线AUC高，但线上排序能力弱——它根本没学过怎么区分“差但能召回来”和“差且不该召”的样本。
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
- 典型现象：
AUC > 0.9但线上CTR下降，说明模型过度拟合曝光偏差 - 缓解方案：在离线训练中混入未曝光但被召回的样本作为负例，用
sample_weight降低其影响，而非全丢弃 - 注意label延迟：用户点击可能发生在推送后数小时，离线若只截
30min窗口，会漏掉真实正例，造成假阴性
评估指标失真：AUC再高，也救不了位置偏差和业务目标错位
AUC只衡量排序能力，不反映业务价值。比如AI Push优化后，用户点了最新文章，但编辑Push因此减少——离线AUC涨了，整体阅读时长却跌了。更致命的是位置偏差（position bias）：用户更可能点击列表前3条，不管内容好坏，而离线样本没带位置特征，模型就把“靠前”当成“好”来学。
- 别只盯
AUC或accuracy，优先看和业务挂钩的指标：如watch_time_per_user、conversion_rate - 离线评估必须加位置特征（如
rank_position）并建模偏差，或用IPS（Inverse Propensity Scoring）加权校正 - 多模型AB测试时，确保流量分桶逻辑和线上一致——比如不能离线用
user_id % 100 ，线上却用<code>hash(user_id) % 100 ，哈希函数不同会导致分桶不重合
最易被忽略的一点：离线评估脚本本身可能引入随机性。比如用sklearn.model_selection.train_test_split但没设random_state，每次跑结果都微调；或者用numpy.random.choice采样负例时没固定种子——这些细节不会报错，但会让“可复现的离线指标”变成幻觉。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
