分类任务用mutual_info_classif，回归任务用mutual_info_regression；二者底层不同、离散化策略和参数默认值各异，混用会报错或结果失真。
用 mutual_info_classif 和 mutual_info_regression 区分任务类型
Scikit-learn 不提供统一的“互信息”函数，必须按监督任务类型选：分类问题用 mutual_info_classif，回归问题用 mutual_info_regression。混用会报错或结果无意义——比如把连续目标变量传给 mutual_info_classif，它会尝试做离散化但默认参数下效果极差。
两者底层都调用 sklearn.feature_selection.mutual_info_*，但离散化策略和默认参数不同：
-
mutual_info_classif默认对y不做处理（要求已是整数标签或字符串），对连续特征用discretize=True（默认）+n_neighbors=3估算条件概率 -
mutual_info_regression默认对y也做离散化（哪怕它是 float），且n_neighbors影响更大：值太小易过拟合，太大则平滑过度
输入数据必须满足基本格式要求
这两个函数都要求 X 是二维数组（shape = (n_samples, n_features)），y 是一维数组。常见翻车点：
- 把 pandas
DataFrame直接传进去——某些版本会静默失败，建议显式转X.values和y.values.ravel() -
y含缺失值（np.nan）——函数不处理，直接抛ValueError: Input contains NaN - 分类任务中
y是浮点型类别标签（如[1.0, 2.0, 1.0]）——虽能运行，但内部可能误判为回归任务；应转成 int 或 str
示例正确写法：
from sklearn.feature_selection import mutual_info_classif<br>import numpy as np<br><br># 确保 y 是整数标签<br>y_clean = y.astype(int) if y.dtype == float else y<br>mi_scores = mutual_info_classif(X, y_clean, random_state=42)
调整 n_neighbors 和 random_state 才能得到稳定结果
互信息在有限样本下是估计值，n_neighbors 控制 KNN 密度估计的粒度，直接影响分数大小和排序稳定性：
- 小数据集（
n_samples ）：<code>n_neighbors=3或5更合理；设为1会导致所有特征得分接近 0 - 大数据集（
n_samples > 10000）：可试n_neighbors=10~20，但超过50易丢失局部依赖 -
random_state必须指定——否则每次运行结果不同，尤其当n_neighbors小于样本密度时，KNN 搜索存在随机性
注意：这两个函数不支持 feature_names 参数，返回的是纯数值数组，记得用 pd.Series(mi_scores, index=feature_names) 对齐解释。
别把互信息分数当绝对指标用
互信息值本身没有上界，且受样本量、离散化方式、n_neighbors 强烈影响。同一组数据换参数，某个特征的得分可能从 0.1 变成 0.8——但这不代表相关性变强，只是估计偏差变了。
真正可靠的做法是：
- 固定
n_neighbors和random_state后，只比较同一轮计算中各特征的相对大小 - 结合其他过滤器（如
VarianceThreshold）先剔除近似常量特征，否则它们的互信息可能因数值误差出现虚假非零值 - 对高基数类别特征（如用户 ID），互信息容易虚高，需人工核验业务逻辑是否合理
最常被忽略的一点：互信息衡量的是单变量与目标之间的非线性依赖，但它不反映方向性，也不处理特征间交互。想看两个特征联合对 y 的贡献？得自己构造组合特征再算，库不帮你做。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
