如何绘制精确率-召回率曲线中的“无技能基线”水平线-Python教程-PHP中文网

如何绘制精确率-召回率曲线中的“无技能基线”水平线

本文详解精确率-召回率（precision-recall）曲线上“无技能模型”（no-skill classifier）为何表现为一条水平线，阐明其数学原理，并提供基于 scikit-learn 的完整实现代码与关键注意事项。

本文详解精确率-召回率（precision-recall）曲线上“无技能模型”（no-skill classifier）为何表现为一条水平线，阐明其数学原理，并提供基于 scikit-learn 的完整实现代码与关键注意事项。

在二分类任务中，当数据高度不平衡（例如正样本仅占 5%）时，ROC 曲线可能过于乐观，而 Precision-Recall（PR）曲线更能反映模型在关注正类时的真实性能。此时，一个关键参考基准是“无技能模型”（no-skill classifier）——即不利用任何特征、仅依赖数据先验分布进行随机预测的基线模型。

为什么无技能模型的 PR 曲线是一条水平线？
根本原因在于：对于完全随机且不依赖输入特征的分类器（如对每个样本以固定概率 $ p $ 预测为正类），其精确率（Precision）恒等于数据集中正样本的真实比例（即先验概率），而召回率（Recall）则随决策阈值连续变化。

具体推导如下：

设数据集中正样本占比为 $ \pi = \frac{TP + FN}{N} $；
无技能模型对所有样本独立输出正类概率 $ p $（常见设定为 $ p = \pi $ 或 $ p = 0.5 $，但本质不影响结论）；
若采用阈值 $ \tau $ 进行硬分类，则预测为正的样本比例恒为 $ \Pr(\text{pred}=1) = p $；
根据定义：
- $\text{Precision} = \frac{TP}{TP + FP} = \frac{\pi \cdot p}{\pi \cdot p + (1-\pi)\cdot p} = \pi$（分子分母同除以 $p$，$p>0$）；
- $\text{Recall} = \frac{TP}{TP + FN} = \frac{\pi \cdot p}{\pi} = p$ —— 但注意：实际 Recall 值由阈值决定，当模型输出为常数概率时，仅两个阈值点有效：$\tau p$ 时 Recall = 0；而在 PR 曲线绘制中，我们通过平滑插值得到 Recall ∈ [0,1] 的连续轨迹，而 Precision 始终不变。

因此，在 PR 空间中，无技能模型对应的是 一条横坐标（Recall）可变、纵坐标（Precision）恒为 $ \pi $ 的水平线：
$$ \text{No-skill PR line: } \big{ (r,\, \pi) \mid r \in [0, 1] \big} $$

✅ 正确做法：该水平线的 y 坐标应取训练集（或验证集）中正样本的实际比例（y_true.mean()），而非 0.5 或其他启发式值。

以下是在 Python 中使用 scikit-learn 绘制 PR 曲线及无技能基线的完整示例：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import precision_recall_curve, auc

# 生成高度不平衡数据（正样本仅占 8%）
X, y = make_classification(n_samples=2000, n_features=2, n_redundant=0,
                           n_informative=2, n_clusters_per_class=1,
                           weights=[0.92, 0.08], random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, 
                                                    stratify=y, random_state=42)

# 训练模型并获取预测概率
model = LogisticRegression()
model.fit(X_train, y_train)
y_score = model.predict_proba(X_test)[:, 1]

# 计算 PR 曲线点
precision, recall, _ = precision_recall_curve(y_test, y_score)
pr_auc = auc(recall, precision)

# 无技能模型基线：y = 正样本比例
no_skill = y_test.mean()  # 关键！不是 0.5

# 绘图
plt.figure(figsize=(7, 5))
plt.plot(recall, precision, label=f'Classifier (AUC = {pr_auc:.3f})', linewidth=2)
plt.axhline(y=no_skill, color='gray', linestyle='--', 
            label=f'No-skill baseline (Precision = {no_skill:.3f})')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve with No-Skill Baseline')
plt.legend()
plt.grid(True, alpha=0.3)
plt.xlim([0, 1])
plt.ylim([0, 1.05])
plt.show()

关键注意事项：