直接对测试集调用fit_transform会导致数据泄漏，因模型会利用测试集统计量；正确做法是训练时pipeline.fit，预测时仅pipeline.predict或transform，确保所有预处理参数仅从训练集学习。
为什么 fit_transform 用在测试集上会导致数据泄漏
直接对测试集调用 fit_transform 是最常见也最隐蔽的数据泄漏来源。比如你用 StandardScaler 在训练集上 fit_transform，又在测试集上重复调用 fit_transform，那就等于让模型“偷看”了测试数据的均值和标准差——这些统计量本该只从训练数据中学习。
Pipeline 的核心价值，就是把 fit 和 transform 的作用范围严格限定在训练路径上：所有预处理步骤只在 fit 阶段从 X_train 学参数，后续对 X_test 只做 transform（不重新拟合）。
Pipeline 中必须用 transform 而不是 fit_transform 测试数据
正确做法是：训练时调用 pipeline.fit(X_train, y_train)，预测时只调用 pipeline.predict(X_test) 或 pipeline.transform(X_test)（如果 pipeline 不含 estimator）。Pipeline 内部会自动确保每个 step 对测试数据只执行 transform，不会触发二次 fit。
- 错误写法：
scaler.fit_transform(X_test)、pipeline.fit_transform(X_test) - 正确写法：
pipeline.predict(X_test)、pipeline.transform(X_test) - 验证是否泄漏：检查
pipeline.named_steps['scaler'].scale_是否与scaler.fit(X_train).scale_一致 —— 如果你在测试集上手动fit过，这个值就会变
带 ColumnTransformer 的 Pipeline 更容易漏掉 fit 顺序
当用 ColumnTransformer 做不同列的不同变换（比如数值列标准化 + 类别列 one-hot），它本身也是 transformer，必须被包进 Pipeline，不能单独 fit。否则 ColumnTransformer 会在训练时学参数，但你可能忘了它不参与最终预测流程，导致测试时没走统一 pipeline。
典型结构应为：
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
<p>preproc = ColumnTransformer(
transformers=[
('num', StandardScaler(), ['age', 'income']),
('cat', OneHotEncoder(), ['gender', 'region'])
],
remainder='passthrough'
)</p><p>pipeline = Pipeline([
('preproc', preproc),
('clf', LogisticRegression())
])</p><p>pipeline.fit(X_train, y_train) # ✅ 所有 fit 都在这里发生
y_pred = pipeline.predict(X_test) # ✅ 自动用训练中学到的参数 transform X_test
</p>
自定义 transformer 必须实现 fit & transform 分离
如果你写了自定义类（比如去除异常值、分箱），它必须显式实现 fit（只学习参数，不改数据）和 transform（用已学参数处理输入）。漏掉 fit 方法或在 transform 里偷偷重算统计量，Pipeline 就无法阻止泄漏。
- 必须有
fit(self, X, y=None)，返回self -
transform(self, X)里只能用self上已存的属性（如self.threshold_），不能调用np.percentile(X, 95)这类依赖当前 X 的计算 - 推荐继承
BaseEstimator和TransformerMixin，避免手动写get_params/set_params
数据泄漏往往发生在「你以为 pipeline 拦住了，其实你绕过了」的地方——比如手写预处理函数、在 cross_val_score 外提前 transform、或者把 validation set 当成 test set 反复调参。Pipeline 本身不防人，只防疏忽。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
