cleanlab可直接用模型预测概率识别高置信度误标样本:调用find_label_issues()返回is_label_issue为True的可疑样本,confidence_score越低越可能标错;需确保y_train为1D整数标签,predict_proba输出为numpy数组,并建议多模型交叉验证与类别先验校准。

用 cleanlab 快速识别高置信度误标样本
标签噪声最直接的表现是:模型在训练时对某些样本预测置信度很高,但真实标签却和预测结果不一致。这说明标签很可能错了。cleanlab 就是专为这类问题设计的库,它不依赖模型结构,只用模型输出的预测概率(logits 或 predict_proba)就能定位可疑标签。
实操建议:
- 训练完模型后,务必调用
model.predict_proba(X_train)获取每个样本属于各类的概率矩阵,传给cleanlab.filter.find_label_issues() - 默认使用
method="confident_learning",它比基于阈值或交叉验证的方法更鲁棒;若数据极不平衡,可加参数frac_negatives_removed=0.05控制修正强度 - 注意:输入的
y_train必须是整数类标(不是 one-hot),否则会报错ValueError: y must be 1D - 返回的
label_issues_df中,is_label_issue为True的行就是最可能标错的样本,confidence_score越低越可疑
手动验证前先做「一致性检查」:用多个模型交叉比对
单个模型的预测偏差可能掩盖真实标签错误,比如模型本身就在某类上系统性过拟合。这时候靠一个 cleanlab 结果就容易误杀。
实操建议:
- 用不同架构(如
RandomForestClassifier和LogisticRegression)或不同随机种子训 3–5 个模型,分别生成predict_proba - 对每个样本,统计有多少模型将其预测为当前标签——若多数模型都反对该标签(例如 5 个里只有 1 个支持),且该样本在原始数据中又没有明显歧义特征,那大概率是标签噪声
- 避免直接删样本:先查原始数据来源,比如图像路径
data/train/cat/00123.jpg对应的标签是"dog",这种硬错误才该修正;若只是边界模糊(如“狼” vs “狗”),更适合留作验证集而非强行纠正
小样本或长尾场景下,别跳过「类别先验校准」
当某些类在训练集中极少(比如 0.3%),cleanlab 默认假设各类先验分布均匀,会导致对少数类的误标检出率偏低,甚至把正确标签当成噪声过滤掉。
当现有的脚本或服务需要将作用域化的仓库工作委托给 Claude Code 并以编程方式消费结构化响应时,请使用 Claude Agent SDK for Python。
实操建议:
- 显式传入真实类别频率:用
np.bincount(y_train) / len(y_train)得到class_names对应的先验数组,再通过cleanlab.rank.order_label_issues(..., class_names=class_names, clf_probs=probs, y=y_train)中的class_names参数注入 - 如果用的是 PyTorch 模型,注意
predict_proba输出需是 CPU 上的 numpy 数组,不能直接传torch.Tensor,否则报错TypeError: can't convert cuda:0 device type tensor to numpy - 对 NLP 场景(如文本分类),若用
transformers微调,记得用trainer.predict()取predictions,再经softmax转成概率,别直接用 logits
纠正策略要分情况:重标、丢弃、加权,别一刀切
检测出噪声只是第一步,怎么处理直接影响下游性能。盲目全删或全重标,在小数据集上反而破坏分布。
实操建议:
- 对
confidence_score 的样本,优先人工复查;对> 0.7的,可信任模型建议并自动重标(用np.argmax(probs[i])) - 若任务允许,改用带噪声鲁棒性的损失函数,比如
nn.CrossEntropyLoss(label_smoothing=0.1),比硬修正更稳定 - 用
sklearn.utils.class_weight.compute_class_weight计算样本权重后,传给模型的sample_weight参数,比直接删样本更能保留信息量
真正难的不是找出哪几条数据标错了,而是判断「这个错误是采集失误、标注者疲劳,还是定义模糊导致的系统性歧义」——后者需要回溯标注规范文档,而不是换一个库就能解决。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










