不能直接对整个数据集做标准化，因为会引发数据泄露：用全部数据（含测试集）计算的均值和标准差将测试信息引入训练过程，导致模型评估失真、上线后性能下降；正确做法是仅在训练集上调用fit_transform，再用同一scaler对训练集和测试集调用transform。
为什么不能直接对整个数据集做标准化？
直接用 StandardScaler().fit_transform(X) 处理全部数据，会把测试集的信息“泄露”进训练过程——比如均值和标准差是从整个数据算出来的，而实际部署时模型只能看到新样本，没法重新计算全局统计量。这会导致评估结果过于乐观，上线后性能掉得厉害。
正确做法是：只用训练集拟合 StandardScaler，再用同一个 scaler 去 transform 训练集和测试集。
- 训练集调用
scaler.fit_transform(X_train) - 测试集只调用
scaler.transform(X_test)（不能用fit_transform） - 如果后续有新样本，也必须用同一个已 fit 好的 scaler 实例处理
如何用 Pipeline 把标准化和模型串起来？
手动管理 scaler 和模型容易出错，尤其在交叉验证或网格搜索时。用 sklearn.pipeline.Pipeline 能自动保证每折训练都独立拟合 scaler，避免数据泄露。
示例：
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
<p>pipe = Pipeline([
('scaler', StandardScaler()),
('clf', RandomForestClassifier())
])
pipe.fit(X_train, y_train) # 自动对 X_train 先 scaler.fit_transform，再 clf.fit
y_pred = pipe.predict(X_test) # 自动对 X_test 先 scaler.transform，再 clf.predict
</p>
- pipeline 中每个步骤必须是 (name, transformer or estimator) 元组
- 只有最后一个步骤可以是 estimator（如分类器），前面都得是实现了
fit和transform的 transformer - 调用
pipe.score(X_test, y_test)也会走完整流程，不用额外处理
怎么处理混合类型特征（数值+类别）？
真实数据常含数值列和类别列，StandardScaler 不能直接处理字符串或缺失类别编码的列。硬塞进去会报 ValueError: Expected 2D array, got 1D array instead 或更隐蔽的类型错误。
推荐用 ColumnTransformer 分开处理：
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
<p>num_cols = ['age', 'income']
cat_cols = ['gender', 'education']</p><p>preprocessor = ColumnTransformer(
transformers=[
('num', StandardScaler(), num_cols),
('cat', OneHotEncoder(drop='first'), cat_cols)
],
remainder='passthrough' # 不参与处理的列原样保留
)</p><p>pipe = Pipeline([
('preproc', preprocessor),
('clf', LogisticRegression())
])
</p>
-
remainder='drop'会丢弃未指定列；'passthrough'保留但不处理（需确保它们已适配模型输入） - 类别列必须先用
OneHotEncoder或OrdinalEncoder编码，否则StandardScaler会失败 - 列名要和
X_train的pandas.DataFrame列名严格一致；如果是 numpy 数组，得用整数索引（如[0, 1]）
Pipeline 保存和加载时最容易漏掉什么？
用 joblib.dump(pipe, 'model.pkl') 看似简单，但要注意：如果 pipeline 里用了自定义函数、lambda、或依赖外部模块的对象（比如某个没安装的第三方 encoder），加载时会报 ModuleNotFoundError 或 AttributeError。
- 只用 scikit-learn 内置 transformer 和 estimator 是最安全的
- 检查 pipeline 中每个 step 的
__class__.__module__是否属于sklearn.* - 如果用了
FunctionTransformer，函数必须可被 pickle 序列化（不能是 lambda 或嵌套在函数内定义） - 加载后建议立刻跑一次
pipe.predict(X_sample[:1])验证是否能走通
复杂点在于：标准化本身很简单，但一旦混入缺失值填充、异常值截断、文本向量化等步骤，每一步的 fit/transform 边界和状态保持就容易出岔子。别图省事跳过 fit，也别在不同数据上重复 fit 同一个 transformer 实例。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
