在Python中怎样用Scikit-learn快速筛选高相关性特征？-Python教程-PHP中文网

应使用 mutual_info_classif 或 mutual_info_regression 替代皮尔逊相关系数，因其能捕获非线性依赖关系；分类任务需先用 LabelEncoder 编码 y，回归任务保持 y 为数值型；结果为 0–1 归一化信息分值，非 p 值；计算前须对连续特征缩放，推荐手动调用函数而非 SelectKBest 以利于调试；注意高相关特征冗余性，避免预过滤低方差特征；小样本或稀疏数据需谨慎调整 n_neighbors 参数并结合模型验证。

在python中怎样用scikit-learn快速筛选高相关性特征？

用 `mutual_info_classif` 或 `mutual_info_regression` 替代皮尔逊相关系数

皮尔逊相关只抓线性关系，对非线性但强依赖的特征会漏判。比如 y = x² + noise 在 [-1, 1] 上和 y 完全相关，但 np.corrcoef(x, y)[0, 1] 接近 0。Scikit-learn 的互信息函数不假设关系形式，更适合真实数据。

实操建议：

分类任务用 mutual_info_classif，回归任务用 mutual_info_regression
必须先对目标变量 y 做 LabelEncoder（分类）或保持数值型（回归），不能直接传入字符串标签
结果是归一化后的信息分值（0～1），不是 p 值，不提供统计显著性，只反映预测能力强度
计算前务必用 StandardScaler 或 MinMaxScaler 对连续特征缩放——互信息对数值尺度敏感，未缩放可能导致离散化误差放大

绕过 `SelectKBest` 手动排序更可控

SelectKBest 封装方便，但隐藏了中间分值，调试时无法判断阈值是否合理。直接调用评分函数拿到数组后手动处理，更利于观察分布。

示例片段：

from sklearn.feature_selection import mutual_info_regression
mi_scores = mutual_info_regression(X, y, random_state=42)
# 转成 Series 方便排序和可视化
mi_series = pd.Series(mi_scores, index=X.columns).sort_values(ascending=False)
# 查看前 10 名
print(mi_series.head(10))
# 筛出得分 > 0.1 的特征
selected_cols = mi_series[mi_series > 0.1].index.tolist()

注意：mutual_info_* 内部会对连续特征做自动离散化（默认 3–5 个分位箱），random_state 必须固定，否则每次运行结果可能浮动。