Python怎么进行特征工程_自定义转换器与Pipeline流水线构建-Python教程-PHP中文网

Pipeline 必须所有步骤实现 fit 和 transform（或 predict），自定义类需继承 BaseEstimator 和 TransformerMixin，fit 返回 self，transform 返回 np.ndarray；最后一步可为模型，前面步骤必须支持 transform。

python怎么进行特征工程_自定义转换器与pipeline流水线构建

怎么用 `sklearn.pipeline.Pipeline` 串起自定义转换器和标准模型

直接能跑通的 Pipeline 必须满足：所有步骤都是带 fit 和 transform（或 predict）方法的对象，且输入输出数据形状对得上。自定义类最容易卡在没实现 fit 方法，或者返回了 pandas DataFrame 而不是 numpy 数组——StandardScaler 这类内置转换器只认数组。

继承 BaseEstimator 和 TransformerMixin，省去手动写 get_params 和 set_params
fit 方法必须返回 self，哪怕什么都不学（比如只做列筛选）
transform 返回二维数组（np.ndarray 或 pd.DataFrame 都行，但后续步骤得兼容；建议统一转 np.array）
Pipeline 中最后一步可以是分类器（如 LogisticRegression），它不需要 transform，但前面所有步骤都必须有 transform

示例：class LogTransformer(BaseEstimator, TransformerMixin): def fit(self, X, y=None): return self def transform(self, X): return np.log1p(X) —— 注意 np.log1p 比 np.log 安全，避免 log(0) 报错。

为什么 `ColumnTransformer` 和自定义转换器一起用时列名会丢

因为 ColumnTransformer 默认把每组输出拼成 numpy 数组，不保留列名；而你的自定义转换器如果返回了 pd.DataFrame，一进 ColumnTransformer 就被强制降维成 np.ndarray，原始列名彻底消失。

解决办法：在 ColumnTransformer 里加参数 remainder='passthrough' 并确保所有 transformer 输出一致（全数组 or 全 DataFrame）
更稳的做法：自定义转换器内部不返回 pd.DataFrame，改用 np.array + 用 feature_names_in_ 属性存列名（需自己实现），后续靠 get_feature_names_out 暴露
别依赖 ColumnTransformer.get_feature_names()（已弃用），改用 get_feature_names_out()

常见报错：AttributeError: 'numpy.ndarray' object has no attribute 'columns'，基本就是某步返回了数组，下一步却当 DataFrame 调 .columns。

`fit_transform` 和分开调 `fit`+`transform` 在 Pipeline 里有啥区别

在 Pipeline 里根本不会单独调 fit_transform —— 它只对第一步调 fit_transform，后面步骤统一用 fit 然后 transform。所以如果你的自定义转换器只实现了 fit_transform 没写 transform，Pipeline 在预测阶段就会崩。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

训练时：Pipeline 对训练集调 step1.fit_transform() → step2.fit_transform() → … → 最后模型 fit()
预测时：Pipeline 对新数据调 step1.transform() → step2.transform() → … → 最后模型 predict()
所以自定义类必须同时有 fit、transform（或 fit_transform），但仅写 fit_transform 不够
如果转换逻辑不依赖 y（比如标准化、编码），fit 可以是空操作，但不能缺

典型翻车点：写了 def fit_transform(self, X, y=None): ... return self.transform(X)，但忘了补 transform 方法。

怎么让自定义转换器支持 `inverse_transform`（比如反标准化）

不是所有场景都需要，但像 PCA、缩放类操作，如果后续要解释特征贡献、生成样本，就必须实现 inverse_transform。它不参与 Pipeline 默认流程，但得保证签名和行为正确。

方法必须接收和 transform 同维度的输入（比如 transform 输出 (n, 5)，inverse_transform 输入也得是 (n, 5)）
不要在 inverse_transform 里重新计算参数，全部从 fit 存的属性（如 self.mean_、self.scale_）读
如果转换不可逆（比如分箱、删除列），就别实现，或抛 NotImplementedError
测试时用 np.allclose(pipe.inverse_transform(pipe.transform(X)), X) 验证数值稳定性