如何用Python构建特征工程—sklearn预处理全流程-Python教程-PHP中文网

在机器学习项目中，特征工程是提升模型性能的关键，而sklearn库提供了完整的预处理工具。1. 首先使用pandas加载数据并检查缺失值与数据类型，缺失严重则删除列，少量缺失则填充均值、中位数或标记为“missing”。2. 使用labelencoder或onehotencoder对类别变量进行编码，前者适用于有序类别，后者适用于无序类别，避免手动替换导致错误。3. 对数值特征应用standardscaler或minmaxscaler进行标准化或归一化，注意训练集用fit_transform，测试集仅transform。4. 利用columntransformer结合pipeline构建预处理流程，统一处理不同类型的特征，提高代码可复用性与效率。

如何用Python构建特征工程—sklearn预处理全流程

在做机器学习项目时，特征工程往往是决定模型性能的关键一环。而用Python做特征预处理，最常用的就是sklearn这个库了。它提供了很多实用的工具，能帮你把原始数据变得更适合模型训练。

下面我来一步步讲讲怎么用sklearn完成一个完整的特征预处理流程，包括缺失值处理、标准化、编码类别变量等常见步骤。

1. 数据加载与初步检查

不管你用的是CSV文件还是数据库，第一步肯定是把数据读进来。一般会用pandas来做这一步：

import pandas as pd
df = pd.read_csv('data.csv')

然后要看看有没有缺失值，哪些是数值型，哪些是类别型。可以用df.info()和df.isnull().sum()快速查看。

建议：

如果某一列缺失太多（比如超过50%），可以考虑直接删掉。
少量缺失的话，数值型可以用均值/中位数填充，类别型可以用众数或者加个“Missing”标记。

2. 编码类别变量：LabelEncoder 与 OneHotEncoder

机器学习模型不能直接处理字符串，所以类别变量需要转换成数字。

LabelEncoder：适合有序类别，比如“小、中、大”，可以映射成0、1、2。
OneHotEncoder：适合无序类别，比如“红、绿、蓝”，会变成三个二进制列。

举个例子，假设你有个"Color"列，包含'red'、'blue'、'green'：

ApiPost接口调试与文档生成工具

ApiPost是一个支持团队协作，支持模拟POST、GET、PUT等常见请求，并可直接生成文档的API调试、管理工具，ApiPost是后台接口开发者或前端、接口测试人员的工作必备工具。快速生成、一键导出API文档。感兴趣的朋友快来下载吧。软件说明ApiPost官方版是一款十分出色的接口调试与文档生成工具，ApiPost官方版界面美观大方，功能强劲实用，支持团队协作，支持模拟POST、GET、PUT等常见请求，是后台接口开发者或前端、接口测试人员的工作必备工具。软件特色更方便支持接口调试的同时快速生成、一键

下载

from sklearn.preprocessing import OneHotEncoder

encoder = OneHotEncoder()
encoded = encoder.fit_transform(df[['Color']])

这样就会生成三列，每一列代表一种颜色是否存在。

注意点：

不要手动写循环去替换类别值，容易出错。
如果类别特别多，可以考虑用频率编码或目标编码来降维。

3. 处理数值特征：标准化与归一化

很多模型（比如线性回归、KNN）对数值范围敏感，所以要做标准化或归一化。

StandardScaler：减去均值再除以标准差，适合分布接近正态的数据。
MinMaxScaler：把数据缩放到[0,1]区间，适合有明显上下限的数据。

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
scaled = scaler.fit_transform(df[['Age', 'Income']])

小细节：

一定要先fit_transform训练集，测试集只transform。
对于偏态分布的数据，可以先做对数变换再标准化。

4. 管道化处理：使用ColumnTransformer组合不同操作

如果你既有类别型又有数值型变量，一个个处理太麻烦。可以用ColumnTransformer统一处理：

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

numeric_features = ['Age', 'Income']
categorical_features = ['Color']

numeric_transformer = StandardScaler()
categorical_transformer = OneHotEncoder(handle_unknown='ignore')

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ])

pipeline = Pipeline(steps=[('preprocessor', preprocessor)])

这样整个预处理过程就可以封装起来，后续调用只需要一行：

X_processed = pipeline.fit_transform(X_train)

基本上就这些。整个流程看起来有点长，但其实每一步都很清晰。只要搞清楚每种方法适用的场景，组合起来就能应对大多数预处理任务了。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！