如何在Python中使用Scikit-learn对分类变量进行高效编码？-Python教程-PHP中文网

labelencoder 不该直接用于多列分类特征，因其仅适用于单列标签（如目标变量 y），对多列特征使用会破坏列间独立性，并在训练/预测时因类别不一致引发 valueerror；应改用 ordinalencoder 或 onehotencoder，并配合 columntransformer 安全处理混合类型数据。

如何在python中使用scikit-learn对分类变量进行高效编码？

为什么 `LabelEncoder` 不该直接用在多列分类特征上

它只适合单列标签（比如目标变量 y），对多列输入特征直接套用会破坏列间独立性，还容易在训练/预测时因类别不一致崩出 ValueError: y contains previously unseen labels。真正该用的是 OrdinalEncoder（有序）或 OneHotEncoder（无序）。

常见错误是把 LabelEncoder 循环套在 X 的每列上——这看似能跑通，但后续 pipeline 里无法处理新出现的类别，且没法和 ColumnTransformer 配合。

OrdinalEncoder 适合有天然顺序的变量（如 "low"/"medium"/"high"），输出整数，节省内存
OneHotEncoder 更通用，尤其对名义型变量（如 "red"/"blue"/"green"），但可能爆炸式增加列数
两者都支持 handle_unknown="ignore"，配合 ColumnTransformer 可安全处理测试集新类别

如何用 `ColumnTransformer` 对混合类型数据统一编码

现实数据常混着数值列、有序分类列、无序分类列。硬拆 X 再拼回去既啰嗦又易错，ColumnTransformer 是标准解法。

关键点：指定列名或列索引，传入对应编码器，设置 remainder="passthrough" 保留未处理列。

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder
<h1>假设 df 有 'color'(nominal), 'size'(ordinal), 'price'(numeric)</h1><p>preprocessor = ColumnTransformer(
transformers=[
("ohe", OneHotEncoder(drop="first", sparse_output=False), ["color"]),
("ord", OrdinalEncoder(), ["size"])
],
remainder="passthrough"
)
X_encoded = preprocessor.fit_transform(df)</p>

drop="first" 防共线性，尤其在线性模型里有用
sparse_output=False 强制返回 dense array，避免后续操作报错（如某些模型不接受 sparse matrix）
列名必须和 df.columns 完全一致，大小写、空格都不能错

`OneHotEncoder` 处理高基数分类变量的坑

当某列取值超过几十个（比如用户 ID、城市名），OneHotEncoder 会生成海量新列，拖慢训练甚至 OOM。这不是参数调得不对，是方法本身不适用。

Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载

这时该换思路：用目标编码（Target Encoding）或频率编码（Frequency Encoding），但注意要防数据泄露。

别在全量数据上 fit OneHotEncoder 再 split——必须先 split 再对训练集 fit，再 transform 测试集
高基数列可先统计频次，把低频值归为 "other"，再做 one-hot（用 min_frequency 参数，scikit-learn ≥ 1.3）
若用 pd.get_dummies()，记得加 drop_first=True，且手动处理新类别（它没 handle_unknown）

保存与复用编码器时最容易漏掉的一步

模型上线后，新样本必须用**完全相同的编码器状态**处理，否则预测结果错乱。只保存 fit_transform 后的数据没用。

必须持久化整个预处理器对象（含 fitted encoder），而不是单独存映射字典。

用 joblib.dump(preprocessor, "preprocessor.pkl")，加载后直接 preprocessor.transform(new_df)
如果用了 make_column_transformer 或 pipeline，同样要 dump 整个 pipeline
检查 loaded encoder 的 categories_ 属性是否非空——为空说明没正确 fit 过

编码逻辑一旦写进训练脚本，就别手动改列名或删列；任何结构变动都会让已保存的 encoder 失效。