selectkbest性能下降的根本原因是仅依赖单变量统计显著性，忽视特征交互与模型需求；如f_classif不敏感于非线性关系，chi2要求非负输入却静默报错，需先验检查数据并合理选用评分函数。
为什么 SelectKBest 选出来的特征在训练后反而更差？
根本原因不是算法错了，而是它只看单变量统计显著性，不考虑特征交互或模型实际需求。比如 f_classif 对非线性关系完全不敏感，chi2 要求输入非负——喂进负数进去就静默出错，结果却看似“正常”。
- 务必先检查数据：用
np.min(X)确认是否全非负，再决定能否用chi2 - 分类任务别默认用
f_classif：如果类别和特征是弱相关但高阶可分（如异或型），f_classif会把关键特征打低分 - 回归任务慎用
f_regression：它只检测线性相关，对平方项、对数关系等无能为力 - 跑完
SelectKBest后，一定要用selector.get_support()拿到布尔掩码，而不是直接信selector.transform(X)的输出维度
SelectKBest 和 mutual_info_classif 怎么搭配才不翻车？
mutual_info_classif 看似更“智能”，但它依赖随机抽样估计互信息，小样本下极不稳定——100 行数据跑两次，选中的 top-5 特征可能完全不同。
- 必须设
random_state，否则每次fit结果不可复现 - 样本量 n_neighbors 从默认 3 降到 2，避免过平滑
- 不能直接和
StandardScaler串在一起用 Pipeline：互信息对尺度不敏感，但 scaler 会改变数值分布，间接干扰估计 - 示例中常见错误写法：
Pipeline([('scale', StandardScaler()), ('skb', SelectKBest(mutual_info_classif, k=5))])—— scaler 应该只在模型前加，不该介入特征选择环节
如何验证 SelectKBest 真的起了作用，而不是碰巧？
只比一次 CV 分数没意义。特征选择的效果必须放在外层交叉验证里评估，否则会严重高估性能。
- 正确做法：用
cross_val_score包裹整个 Pipeline（含SelectKBest+ 模型），而非先 fit 再 score - 对比基线必须是同一份数据上、相同 CV 折数下的全特征模型，不能拿别人论文里的数字比
- 观察方差：如果 5 折 CV 中，选特征后的分数标准差比全特征大得多，说明选择过程本身引入了不稳定性
- 额外检查：用
selector.scores_查看各特征原始得分，确认没有大量特征得分接近——那说明k设得过于武断
当 SelectKBest 遇到高维稀疏数据（比如 TF-IDF）
稀疏矩阵传给 f_classif 或 f_regression 会自动转稠密，内存爆炸；传给 chi2 倒是支持稀疏，但要求所有值 ≥ 0，而 TF-IDF 本身就是非负的，这点刚好匹配。
- 优先选
chi2处理文本特征，别碰f_classif - 用
scipy.sparse.issparse(X)显式检查输入类型，避免隐式转换吃光内存 -
k别设太大：TF-IDF 动辄上万维，k=1000可能仍留太多噪声词，建议从 100 开始试 - 注意
chi2对低频词极度敏感，配合TfidfVectorizer时，记得设min_df >= 2先过滤掉只出现一次的噪声
selector.scores_ 是否真的拉开差距。一堆特征得分集中在 0.01–0.05 之间，硬按 top-k 截，和随机选差不多。
