predict_proba返回的概率不准是因为模型优化目标是损失函数而非校准概率，树模型和svm输出的是置信排序分数；需用calibratedclassifiercv校准，method='sigmoid'更稳定，method='isotonic'需足够样本；校准不提升准确率但改善brier分数和可靠性图。
为什么 predict_proba 返回的概率常常不准
很多用户发现，用 RandomForestClassifier 或 LogisticRegression 调用 predict_proba 后，输出的 0.8 并不意味着“80% 把握是正类”——比如实际在 100 个预测为 0.8 的样本中，可能只有 65 个真是正类。这是因为多数模型优化的是分类边界或损失函数（如 log loss），而非直接建模校准后的概率。尤其树模型（如 RandomForestClassifier、XGBoost）和 SVM 默认输出的分数更像“置信排序”，不是统计意义上的概率。
用 CalibratedClassifierCV 快速校准
scikit-learn 提供了开箱即用的校准封装器 CalibratedClassifierCV，它通过交叉验证 + 校准映射（Platt scaling 或 isotonic regression）把原始决策分数映射成更可靠的概率。关键点：
-
method='sigmoid'（默认）适合原始分数近似线性可分，对小数据稳定；method='isotonic'更灵活，但需足够多的校准样本（建议 ≥ 1000），且不保证单调外推 -
cv='prefit'仅当你已训练好基模型并想复用其decision_function或predict_proba输出时使用；常规场景用cv=3或cv=5更安全 - 校准本身不提升准确率，但显著改善
Brier score和可靠性图（reliability diagram）
示例：
from sklearn.calibration import CalibratedClassifierCV from sklearn.ensemble import RandomForestClassifier <p>base_clf = RandomForestClassifier(n_estimators=100) cal_clf = CalibratedClassifierCV(base_clf, method='isotonic', cv=3) cal_clf.fit(X_train, y_train) proba = cal_clf.predict_proba(X_test) # 此时 proba 更接近真实频率</p>
检查校准效果不能只看 AUC 或准确率
校准质量要单独评估，常用指标是 brier_score_loss（越低越好）和可靠性图。注意：
-
sklearn.metrics.brier_score_loss(y_true, y_prob[:, 1])只适用于二分类，且要求y_prob是正类概率 - 画可靠性图时，横轴是平均预测概率（按 0.1 区间分桶），纵轴是每桶内真实正类比例；理想情况是落在对角线上
- 如果校准后
brier_score_loss反而升高，大概率是校准数据太少或method='isotonic'过拟合了噪声——换回method='sigmoid'或加大cv折数
LightGBM / XGBoost 需要额外处理
这些库原生不支持 predict_proba 直接输出校准结果。常见做法：
- LightGBM：设
objective='binary'时，predict()默认返回 sigmoid 映射后的概率，已自带基础校准；若仍不满意，可再套一层CalibratedClassifierCV（但注意它内部会调用predict_proba，需确保 LightGBM 模型实现了该方法） - XGBoost：默认
predict()返回 logits，必须显式加output_margin=False才得概率；但它的 sigmoid 映射较粗糙，推荐用CalibratedClassifierCV包裹XGBClassifier，并设method='sigmoid' - 避免直接用
predict()结果当概率参与阈值搜索或代价敏感学习——未校准的分数会导致最优阈值偏移
真正难的不是调用哪个函数，而是校准数据是否独立于训练集、桶划分是否覆盖全概率范围、以及是否混淆了“排序能力”和“概率精度”这两个不同目标。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
