Feature-engine是独立于scikit-learn和pandas的专注特征工程库,兼容Pipeline;安装用pip install feature-engine;核心模块含imputation、encoding、discretisation、transformation;所有变换器需先fit再transform以保证可复现性与防数据泄漏。

Feature-engine 的安装与核心模块定位
Feature-engine 不是 scikit-learn 的子集,也不是 pandas 插件,而是一个独立、专注特征工程的库,设计目标就是可部署、可复现、可嵌入 Pipeline。它所有变换器都继承自 BaseEstimator 和 TransformerMixin,天然兼容 sklearn.Pipeline。
- 安装时建议用 pip:
pip install feature-engine - 不要混用
feature_engine(旧名)和feature_engine(当前正确包名),旧文档里可能写错,实际 import 始终是import feature_engine - 核心模块按任务划分:
feature_engine.imputation(缺失值)、feature_engine.encoding(编码)、feature_engine.discretisation(分箱)、feature_engine.transformation(数值变换)——别从feature_engine直接 import 所有类,容易命名冲突
用 MeanMedianImputer 处理数值型缺失值(带训练/预测分离)
工业场景中,缺失值策略必须在 fit 阶段“锁定”统计量(如均值),predict 阶段只应用,不能重新计算。这是和直接用 pandas.fillna(df.mean()) 的本质区别。
-
MeanMedianImputer默认用均值填充,设imputation_method="median"可切中位数 - 必须显式指定
variables参数,比如variables=["age", "income"];不传则默认对所有数值列操作,但线上推理时列顺序或存在性稍有变化就会出错 - fit 后会把统计量存进
imputer.imputerdict属性,可序列化保存(joblib.dump(imputer, "imputer.pkl")),后续 reload 后直接transform()即可,无需再 fit
from feature_engine.imputation import MeanMedianImputer
imputer = MeanMedianImputer(
variables=["sales", "margin"],
imputation_method="mean"
)
imputer.fit(X_train)
X_train_imputed = imputer.transform(X_train) # ✅ 用训练集统计量填训练集
X_test_imputed = imputer.transform(X_test) # ✅ 同样统计量填测试集
用 OneHotEncoder 编码分类变量(避免训练/预测不一致)
pandas.get_dummies() 在 train/test 上分别调用会导致列数不一致,OneHotEncoder 从 fit 阶段就固化类别集合,transform 时自动补零或丢弃未见过的类别。
- 默认
drop_last=False,若需避免共线性,设为True(会删每组最后一个 dummy 列) - 关键参数
drop_last_binary=True对二值变量(如 ["Y", "N"])自动只留一列,省空间也防 collinearity - 若测试数据出现训练时没见过的新类别(如新用户等级 "VIP_PLUS"),默认行为是忽略该列 —— 这很安全,但你要知道它发生了;可通过
ignore_format=True+ 自定义unseen="encode"改变策略(需 v1.7+)
为什么不能跳过 fit 直接 transform?
所有 Feature-engine 变换器都要求先 fit,因为它们不是无状态函数,而是有状态对象:
将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。
-
WoEEncoder要存每个类别的 WOE 值 -
DecisionTreeDiscretiser要存分割点 -
LogTransformer要检查是否含非正数并记录偏移量
如果漏掉 fit 就调 transform,会报 AttributeError: 'XXX' object has no attribute 'variables_' 或类似错误。这不是 bug,是设计强制你区分学习阶段和应用阶段。
真正容易被忽略的是:Pipeline 中的每个步骤都要 fit,但线上服务时,你只能对新样本调 pipeline.transform(),绝不能再次 fit —— 否则模型就“偷看”了新数据。这个边界一旦模糊,特征逻辑就不可控。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










