怎么用Python快速诊断和评估不平衡数据集的过采样与欠采样效果？-Python教程-PHP中文网

必须用imblearn.metrics.classification_report_imbalanced替代标准classification_report，它默认输出gmean、macro_f1等关键指标，gmean>0.7才初步有效；需对比采样前后support与recall变化，检查k_neighbors是否超min_samples-1，并警惕欠采样导致predict_proba右偏失真。

怎么用python快速诊断和评估不平衡数据集的过采样与欠采样效果？

用 `imblearn.metrics.classification_report_imbalanced` 替代标准报告

标准 classification_report 在不平衡数据上会严重高估准确率，掩盖少数类性能崩塌。必须换用专为不平衡设计的评估接口。

它默认输出 geometric_mean_score、f1_score（宏平均）、precision 和 recall 按类别展开，还额外给出 macro_f1 和 gmean —— 这两个才是判断采样是否有效的核心指标。

安装后直接导入：from imblearn.metrics import classification_report_imbalanced
调用方式和原版一致：classification_report_imbalanced(y_true, y_pred)
别只看最后一行 weighted avg，重点盯 gmean 值：>0.7 才算初步有效，>0.85 才值得保留该采样策略

对比采样前后各类别的 `support` 与 `recall` 变化

过采样常让少数类 recall 上升但 precision 断崖下跌——说明模型开始胡乱预测正样本；欠采样则可能拉高 precision 却压垮 recall，因为删掉了太多真实正例。

所以必须并排对比采样前、SMOTE 后、RandomUnderSampler 后三份报告，逐行检查：

support 列是否接近均衡（如 450/500/520）？若仍为 100/900/1000，说明采样根本没生效（常见于未重采样 y_train 或漏传 X_train）
少数类 recall 是否提升 ≥15%？若只从 0.32 → 0.35，基本白忙
同一少数类的 precision 是否下降 >20%？若是，大概率引入了噪声或边界混淆

用 `imblearn.over_sampling.SMOTE` 时必须设 `k_neighbors`，且不能超 `min_samples - 1`

SMOTE 默认 k_neighbors=5，但在极端不平衡（如正样本仅 12 个）时会直接报错：ValueError: Expected n_neighbors 。

python-docx

python-docx Skill功能概述python-docx Skill是一项面向实际任务的技能，主要用于本Skill提供使用python-docx生成专业Word文档的标准方法和最佳实践；生成安全服务方案文档；核心要点生成技术架构设计文档；生成任何需要专业排版的Word文档；核心库 : python-docx；使用与执行辅助库 : docx.shared , docx.enum , docx.oxml.ns；标准代码模板；1. 文档初始化；2. 字体设置（必须！它将相关步骤、工具调用和结果整理方式集

下载

这不是参数调得不对，而是数据本身不支持默认配置。此时必须手动缩小邻居数：

先统计最小类样本量：min_samples = np.bincount(y_train).min()
安全上限是 k_neighbors = max(1, min_samples - 1)，例如只有 3 个正样本，就只能设 k_neighbors=2
设太小（如 1）会导致合成样本高度重复，验证集上 gmean 看似涨了，实则过拟合——务必配合交叉验证看方差

欠采样后模型在原始测试集上 `predict_proba` 分布会整体右偏

随机欠采样删掉多数类样本后，模型看到的“正常”分布变窄，导致对新数据的 predict_proba 输出普遍偏高（比如原来 0.6 的置信度，现在变成 0.85）。这会让基于阈值的部署逻辑失效。

诊断方法很简单：画两组直方图对比

import matplotlib.pyplot as plt
plt.hist(model.predict_proba(X_test)[:, 1], bins=50, alpha=0.5, label='after undersample')
plt.hist(base_model.predict_proba(X_test)[:, 1], bins=50, alpha=0.5, label='original')
plt.legend()

若蓝色峰明显右移，且集中在 0.7–0.9 区间，说明欠采样扭曲了概率校准——这时候该换 TomekLinks 或 EditedNearestNeighbours 这类边界感知方法，而不是硬砍样本。