如何在Python中快速计算特征的重要度与信息增益值？-Python教程-PHP中文网

sklearn中获取特征重要度最直接的方式是DecisionTreeClassifier的feature_importances_属性，它基于不纯度减少加权平均计算，总和为1； criterion='entropy'时近似信息增益语义，但不等价；单棵树结果不稳定，推荐用RandomForest取均值或mutual_info_classif替代。

如何在python中快速计算特征的重要度与信息增益值？

用 `sklearn.tree.DecisionTreeClassifier` 获取特征重要度最直接

树模型内置的 feature_importances_ 属性就是标准答案，它本质是基于不纯度减少（如基尼不纯度或信息熵）加权平均得到的，和信息增益强相关但不完全等价。训练完模型后直接访问即可：

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
<p>X, y = make_classification(n_samples=1000, n_features=4, n_informative=2, random_state=42)
clf = DecisionTreeClassifier(criterion='entropy', random_state=42)
clf.fit(X, y)
print(clf.feature<em>importances</em>)  # 输出长度为4的数组，对应每个特征的相对重要度
</p>

必须设 criterion='entropy' 才能对齐信息增益语义；用 'gini' 时计算的是基尼不纯度下降，数值不可比
重要度总和恒为 1，是归一化后的相对值，不能直接当“信息增益比特数”解读
单棵树结果不稳定，若需鲁棒性，建议改用 RandomForestClassifier 并取均值

手动算单个特征的信息增益要自己实现分割与熵计算

sklearn 不提供单特征 IG 的独立接口，得手写。核心是：对每个特征遍历所有可能分割点，计算划分前后的信息熵差，取最大值作为该特征的信息增益。

import numpy as np
from sklearn.metrics import mutual_info_score
<p>def info_gain(X_col, y):</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill11526" title="Python Hardener"><img
														src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="Python Hardener" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/skill11526" title="Python Hardener" class="overflowclass">Python Hardener</a>
													<p class="overflowclass">通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖，强化 Python 脚本。</p>
												</div>
												<a rel="nofollow" href="/xiazai/skill11526" title="Python Hardener" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div><h1>简化版：仅支持二值分割（如中位数切分），实际需枚举所有唯一值或分位点</h1><pre class="brush:php;toolbar:false;">thresh = np.median(X_col)
y_left = y[X_col  thresh]
if len(y_left) == 0 or len(y_right) == 0:
    return 0
ent_parent = entropy(y)
ent_left = entropy(y_left)
ent_right = entropy(y_right)
return ent_parent - (len(y_left)/len(y))*ent_left - (len(y_right)/len(y))*ent_right

def entropy(y): _, counts = np.unique(y, return_counts=True) probs = counts / len(y) return -np.sum([p * np.log2(p) for p in probs if p > 0])

真实场景中，连续特征需离散化（如 pd.cut 或 KBinsDiscretizer），否则枚举分割点开销大
分类特征若为字符串，必须先用 LabelEncoder 转成整数，否则 entropy 计算会出错
这个函数返回的是“最大单一分割带来的信息增益”，不是 sklearn 树中使用的加权平均路径增益

`mutual_info_classif` 是更省事的替代方案

如果你真正想要的是“特征和标签之间的互信息”（连续特征也能用），sklearn.feature_selection.mutual_info_classif 是更合适的选择——它底层用 KNN 估计互信息，对连续值友好，且无需预设模型结构。

from sklearn.feature_selection import mutual_info_classif
<p>mi_scores = mutual_info_classif(X, y, random_state=42)
print(mi_scores)  # 每个特征对应的互信息估计值（单位：nats，非比特）
</p>