不能在测试集上用 fit_transform，因为这会让模型“看到”测试数据的统计信息（比如均值、标准差、众数），相当于作弊——训练阶段就偷看了考试答案。
不能在测试集上用 fit_transform，因为这会让模型“看到”测试数据的统计信息（比如均值、标准差、众数），相当于作弊——训练阶段就偷看了考试答案。
StandardScaler.fit_transform 为什么在测试集上是危险操作
StandardScaler 的 fit 阶段会计算训练数据的均值 μ 和标准差 σ；fit_transform 就是先 fit 再用这些参数做标准化。如果对测试集也调用 fit_transform，就会用测试集自己的 μ_test 和 σ_test 去缩放它——而真实预测时你根本拿不到这批测试数据的分布。
常见错误现象：
- 模型在测试集上指标异常高，但上线后效果暴跌
- 小样本或偏态数据下，
μ_test和μ_train差距大，导致同一特征在训练/测试中被映射到完全不同的数值范围
正确做法只有一条：用训练集 fit 出来的参数，统一处理所有后续数据。
SimpleImputer 也必须复用训练集的填充策略
SimpleImputer 的 fit 阶段会计算填充值（如 "mean"、"median" 或列众数）。如果测试集单独 fit_transform，就会用测试集自己的中位数去填测试集缺失值——这等于把测试分布信息注入了预处理流程。
使用场景注意点：
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
- 缺失值分布偏斜或含异常值 → 选
strategy="median" - 近似正态、缺失比例低 → 可用
strategy="mean" - 类别型列缺失 → 必须用
strategy="most_frequent"，且确保训练集该列有足够频次
特别提醒：SimpleImputer 输入必须是二维数组，X_train[:, 3] 这种一维切片要先 .reshape(-1, 1)，否则报 ValueError: Expected 2D array。
train_test_split 必须在标准化/填充之前做
有人想“先全量标准化再分割”，这是典型错误。那样会导致训练集统计量（μ, σ）里混入了测试样本的信息，本质仍是数据泄露。
正确顺序只能是：
- 原始数据 →
train_test_split - 对
X_train调用scaler.fit_transform()或imputer.fit_transform() - 对
X_test只调用scaler.transform()或imputer.transform()
后续新样本（如线上请求）也必须走同一套 transform 流程，不能重新 fit。模型部署时，记得把训练好的 scaler 和 imputer 对象一起保存（例如用 joblib.dump）。
最容易被忽略的一点：所有预处理对象（StandardScaler、SimpleImputer、LabelEncoder 等）都必须在训练集上完成 fit，之后只靠 transform 生效；这个约束不是 sklearn 的限制，而是机器学习评估逻辑的基本前提。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
