解决Bootstrap循环中F1/精确率/召回率恒为1的问题

云伟大大_8421

云伟大大_8421

2026-07-21

660人浏览

原创

解决Bootstrap循环中F1/精确率/召回率恒为1的问题

该问题源于训练-测试数据划分未在每次bootstrap迭代中基于重采样数据执行,导致模型始终在原始固定数据上训练和评估,若原始标签分布单一或存在数据泄露,将产生虚假的100%指标。

该问题源于训练-测试数据划分未在每次bootstrap迭代中基于重采样数据执行,导致模型始终在原始固定数据上训练和评估,若原始标签分布单一或存在数据泄露,将产生虚假的100%指标。

在使用Bootstrap评估分类器性能时,一个常见但隐蔽的错误是混淆了重采样目标与实际建模数据。你提供的代码中,核心问题在于:

chosen_rows = np.random.choice(numb_rows, replace=True, size=numb_rows)
bootstrap_sample = data.iloc[chosen_rows]  # ← 此样本未被用于后续建模!
...
X_train, X_test, Y_train, Y_test = train_test_split(x, y, test_size=0.2, random_state=1)  # ← 仍用原始x/y!

✅ 关键错误:bootstrap_sample 被生成却未参与模型训练;train_test_split 始终对原始 x 和 y 划分——这意味着每次循环都在同一份静态数据上重复训练和测试。若原始 y 标签高度不平衡(如全为同一类)、或模型在该固定数据集上过拟合(如决策树未剪枝且样本量小),就极易输出 precision=recall=f1=1.0。

? 正确做法:Bootstrap的核心是「对观测单元(样本行)重采样 → 在重采样子集上完整拟合并评估模型」。因此,x 和 y 必须同步从 bootstrap_sample 中提取,并确保 train_test_split 作用于该重采样数据:

Presale Service Bootstrap
Presale Service Bootstrap

在编码前搭建新的预售服务基础架构(文档/配置/方案/就绪状态)。适用于启动新预售自动化服务或重建项目时。

下载
for k in range(Nboot):
    # 1. 重采样原始数据索引(假设data包含x和y)
    chosen_rows = np.random.choice(len(data), replace=True, size=len(data))
    bootstrap_sample = data.iloc[chosen_rows].copy()

    # 2. 从重采样数据中分离特征与标签(需确保data结构合理)
    X_boot = bootstrap_sample.drop(columns=['target']).values  # 替换'target'为你的标签列名
    y_boot = bootstrap_sample['target'].values

    # 3. 在重采样数据上划分训练/测试集(注意:test_size应适中,避免过小导致评估不稳定)
    X_train, X_test, Y_train, Y_test = train_test_split(
        X_boot, y_boot, test_size=0.2, random_state=42 + k  # 每次random_state不同,避免重复划分
    )

    # 4. 训练、预测、评估(保持average="macro"一致性)
    model = DecisionTreeClassifier(random_state=42 + k).fit(X_train, Y_train)
    y_pred = model.predict(X_test)

    precision.append(metrics.precision_score(Y_test, y_pred, average="macro", zero_division=0))
    recall.append(metrics.recall_score(Y_test, y_pred, average="macro", zero_division=0))
    f1.append(metrics.f1_score(Y_test, y_pred, average="macro", zero_division=0))
    models.append(model)

⚠️ 必须检查的前置条件:

  • y 必须作为函数参数显式传入(原代码缺失),且不能是常量数组(如 np.ones(n));
  • data 需包含完整特征+标签,或确保 x/y 与 bootstrap_sample 行索引严格对齐;
  • 若 y 中某类在某个 Bootstrap 子集中完全缺失,precision_score 等会报 UndefinedMetricWarning;建议添加 zero_division=0 参数避免中断;
  • random_state 在 train_test_split 中不应固定为 1(否则每次划分完全相同),应随循环变化(如 42 + k)或设为 None。

? 总结:Bootstrap评估的有效性依赖于「每次迭代独立重采样→独立建模→独立评估」的闭环。任何跳过重采样数据、复用原始数据的行为,都会使指标失去统计意义。调试时,可打印 np.unique(y_boot) 和 len(Y_train), len(Y_test) 验证每次迭代的数据多样性。

相关专题

更多
Python 机器学习入门与 Scikit-Learn 实战
Python 机器学习入门与 Scikit-Learn 实战

面向机器学习初学者,以 Scikit-Learn 为核心工具,讲解机器学习基本概念(监督学习/无监督学习/模型评估)、数据预处理(标准化/归一化/缺失值填充/特征编码)、常用分类算法(逻辑回归/决策树/随机森林/SVM/KNN)、回归算法(线性回归/岭回归/Lasso)、无监督聚类(K-Means/DBSCAN)、交叉验证与超参数调优(GridSearch/RandomSearch)、混淆矩阵与 ROC/AUC 模型评估指标,帮助开发者

2026.04.24

415

29

CVE-2026-114938高危漏洞修复
CVE-2026-114938高危漏洞修复

Java4Shell是OpenJDK Base64解码路径中的远程代码执行漏洞,编号CVE-2026-114938,2026年11月17日披露,官方已发布17.0.21.1、21.0.13.1等修复版本,建议优先升级 。本专题围绕Java4Shell(CVE-2026-114938)持续更新,从漏洞原理、受影响版本、受影响产品到修复与自查一站式汇总,适合Java开发、运维与安全人员快速定位风险。ARM64环境不受影响,x86-64环境请

2026.11.22

0

11

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

2026.11.20

20

7

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

2026.11.20

20

17

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

2026.11.20

0

10

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

2026.11.20

60

8

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

2026.11.20

20

10

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

2026.11.20

40

10

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

2026.11.20

40

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Bootstrap5 入门教程
Bootstrap5 入门教程

共0课时 | 0人学习

Bootstrap Components 组件文档
Bootstrap Components 组件文档

共0课时 | 0人学习

Bootstrap Grid 栅格系统
Bootstrap Grid 栅格系统

共0课时 | 0人学习