feature_importances_易误导因基于mdi且受特征相关性、尺度、编码方式及数据泄露影响；安全使用需模型已fit、输入为二维数组、pipeline中须指定步骤；更可靠的是permutation_importance。
直接调用 feature_importances_ 是最常用方式，但它容易高估冗余特征、忽略数据泄露风险，不能单独作为决策依据。
为什么 feature_importances_ 会误导你
这个属性返回的是基于「平均不纯度减少量」（MDI）的相对得分，不是真实预测贡献的测量。它在以下情况会失真：
- 两个高度相关的特征（比如
height_cm和height_inch）同时存在时，重要性会被平分，单个值偏低，但总和可能接近 1 - 数值型特征未归一化时，尺度大的（如年收入以“元”为单位）天然比小尺度特征（如年龄）得分高
- One-Hot 编码后的类别变量被拆成多个 dummy 特征，
feature_importances_对每个 dummy 单独打分，无法反映原始变量整体作用 - ID 列、时间戳列如果与标签强相关（训练集按时间排序未 shuffle），
feature_importances_可能给出极高分——这其实是数据泄露，不是特征有用
怎么安全提取 feature_importances_
必须满足三个前提，否则会报错或返回无意义结果：
- 模型已调用
rf.fit(X_train, y_train)，没 fit 就访问会触发AttributeError: 'RandomForestClassifier' object has no attribute 'feature_importances_' - 输入
X_train是二维数组，shape 必须是(n_samples, n_features)；传入 pandas Series 或一维 numpy 数组会报ValueError: Expected 2D array, got 1D array instead - 若使用
Pipeline，不能写pipeline.feature_importances_，得从pipeline.named_steps['randomforest'].feature_importances_获取
示例代码片段：
from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(n_estimators=200, random_state=42) rf.fit(X_train, y_train) # 这一步不能省 importances = rf.feature_importances_ # 此时才可安全访问
更可靠的替代：用 permutation_importance 验证
permutation_importance 不依赖模型内部分裂逻辑，而是通过打乱单个特征列、观察测试集性能下降多少来评估——它反映的是该特征对最终预测的实际影响。
- 它默认用
rf.score()作为评估指标（分类用 accuracy，回归用 r2_score），可显式指定scoring='f1'等 - 建议设
n_repeats=5–10，避免单次打乱带来的随机波动 - 结果中的
result.importances_mean是各重复实验的均值，result.importances_std越大说明该特征重要性越不稳定 - 注意：它必须在独立测试集（
X_test,y_test）上运行，不能用训练集——否则会严重高估
简短调用示意：
from sklearn.inspection import permutation_importance result = permutation_importance(rf, X_test, y_test, n_repeats=5, random_state=42, scoring='accuracy') importances = result.importances_mean
排序和可视化时最容易忽略的一点
只看 top-5 排名是危险的。真正关键的是衰减趋势：如果第 1 名是 0.25、第 3 名已降到 0.03、第 6 名是 0.008，后面基本可忽略；但如果前 12 个都在 0.07–0.09 区间，说明大量特征贡献接近，强行排序意义不大。画图时务必把前 15–20 个都拉出来看分布，别只截头部。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
