permutation_importance 是最直接可靠的排列重要性计算接口，不依赖模型内部结构，适用于任何可评分模型，但必须使用独立测试集以避免高估。
permutation_importance 是 scikit-learn 提供的、最直接可靠的排列重要性计算接口。它不依赖模型内部结构，适用于任何能调用 score 或自定义 scoring 的模型，但必须注意输入数据、评估逻辑和随机性控制这几个关键点。
为什么不能直接用 rf.feature_importances_？
因为 feature_importances_ 来自训练时树的分裂增益统计，反映的是「该特征在建树过程中被选为分割点的频率与增益总和」，不是模型在真实预测阶段的实际贡献。比如存在高度相关特征时，它会把重要性平分，而 permutation_importance 会通过打乱后性能下降量，更真实地暴露冗余或掩盖效应。实际项目中两者结果常不一致——这不是 bug，是评估视角不同。
permutation_importance 必须传测试集，不能传训练集
传训练集会导致严重高估重要性，尤其对过拟合模型。原因很简单：打乱一个特征后，模型在训练集上仍可能靠记忆或噪声拟合，性能下降不明显；而在未见过的测试集上打乱，才真正考验泛化能力。常见错误写法：permutation_importance(rf, X_train, y_train, ...) —— 这会让结果失去解释意义。
- 务必使用独立的
X_test和y_test - 如果只有少量测试样本（如
n_samples ），考虑用 <code>cv='prefit'+scoring显式指定评估方式，避免 score 波动过大 - 若模型没有内置
score方法（如 PyTorch 模型），需传入scoring参数，例如scoring=make_scorer(accuracy_score)
n_repeats 设太小会怎样？
n_repeats=1 是最大陷阱。单次打乱受随机顺序影响极大，尤其当特征分布偏斜或样本量小时，重要性分数波动可达 ±30%。官方默认是 5，但生产环境建议设为 10 或更高：
-
n_repeats=10能显著降低标准差，让排序更稳定 - 时间成本增加约线性倍数，但通常可接受（10 次打乱 × 100 棵树 ≈ 多花几秒）
- 搭配
random_state可复现结果，否则每次运行顺序不同，importances_mean会有微小浮动
示例正确调用：
result = permutation_importance(
rf, X_test, y_test,
n_repeats=10,
random_state=42,
scoring='accuracy'
)
importances = result.importances_mean
负的重要性分数说明什么？
permutation_importance 返回的分数是「原始 score 减去打乱后的平均 score」。出现负值，意味着打乱该特征后模型表现反而变好了——这通常不是特征真有害，而是：
- 该特征含噪声或与标签弱负相关，原始模型误学到了干扰模式
- 打乱后意外缓解了过拟合（尤其在小数据集上）
- 评估指标不合适，例如用
neg_mean_squared_error时，分数本身带负号，需注意符号含义
遇到负值不要直接丢弃，先检查该特征的分布、缺失值处理方式，以及是否在训练/测试集中有系统性偏差。它往往是数据质量问题的早期信号。
真正难的是让permutation_importance 在 pipeline 中稳定运行：特征缩放、类别编码、缺失值插补这些预处理步骤必须固化，且打乱操作只能作用于最终的 X_test 矩阵，不能回溯到原始列。稍有不慎，就会混入数据泄漏或维度错位。Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
