本文深入解析分类任务中 precision-recall（pr）曲线上“无技能模型”（no-skill classifier）为何呈现为水平线，阐明其数学本质，并提供基于 scikit-learn 的完整实现代码与关键注意事项。
本文深入解析分类任务中 precision-recall（pr）曲线上“无技能模型”（no-skill classifier）为何呈现为水平线，阐明其数学本质，并提供基于 scikit-learn 的完整实现代码与关键注意事项。
在二分类评估中，Precision-Recall 曲线（PR 曲线）是衡量模型在不同分类阈值下查准率（Precision）与查全率（Recall）权衡关系的重要工具。与 ROC 曲线不同，PR 曲线对类别不平衡高度敏感，因此其基准线（即“无技能模型”的表现）并非对角线，而是一条水平直线——这一特性常令初学者困惑。其根本原因在于：无技能模型不依赖任何特征，仅以固定概率（如 0.5）随机预测正类；当该概率被用作预测置信度并配合阈值扫描时，其 Recall 可取 [0, 1] 全区间值，而 Precision 却恒等于数据集中正样本的真实比例（即 pos_ratio = n_pos / (n_pos + n_neg)）。
为什么 Precision 恒定？
根据定义：
[
\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}} = \frac{\text{True Positives}}{\text{All Predicted Positives}}
]
对无技能模型而言，所有样本被预测为正类的概率相同（设为 (p)）。若设定阈值为 (t)，则预测为正类的样本比例恒为：
- 若 (t \leq p)：全部样本被判为正 → 预测正例数 = 总样本数 (N)
- 若 (t > p)：全部样本被判为负 → 预测正例数 = 0（此时 Recall = 0，通常不参与 PR 曲线绘制）
在有效阈值区间（(t \leq p)）内，预测正例集合是随机均匀采样的，故其中正样本的期望比例严格等于数据集的正样本比例 pos_ratio。因此：
[
\mathbb{E}[\text{Precision}] = \frac{\mathbb{E}[\text{TP}]}{\mathbb{E}[\text{TP}+\text{FP}]} = \frac{p \cdot n{\text{pos}}}{p \cdot N} = \frac{n{\text{pos}}}{N} = \text{pos_ratio}
]
而 Recall = TP / n_pos = (p · n_pos) / n_pos = p —— 通过调节阈值 (t)，可使等效的 (p) 从 0 连续变化至 1，从而驱动 Recall 从 0 到 1，但 Precision 始终锚定在 pos_ratio。这正是 PR 曲线上无技能模型表现为 y = pos_ratio 的水平线 的严格数学依据。
以下是在 Python 中计算并绘制该基准线的完整示例：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve, average_precision_score
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
# 生成高度不平衡数据集（正样本占比 ~10%）
X, y = make_classification(n_samples=1000, n_features=2, n_redundant=0,
n_informative=2, n_clusters_per_class=1,
weights=[0.9, 0.1], random_state=42)
y_train, y_test = train_test_split(y, test_size=0.3, stratify=y, random_state=42)
# 计算正样本比例（即无技能模型的 Precision 基准值）
pos_ratio = np.mean(y_test)
print(f"正样本真实比例（无技能模型 Precision）: {pos_ratio:.3f}")
# 模拟一个简单模型（如逻辑回归）用于对比
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(X[y==0][:500], y[y==0][:500]) # 仅用部分数据训练示意
# 实际应用中请使用完整训练流程
# 获取预测概率（此处用随机概率模拟，真实场景替换为 model.predict_proba()[:, 1]）
y_score = np.random.rand(len(y_test)) # 替换为实际模型输出
# 计算 PR 曲线点
precision, recall, _ = precision_recall_curve(y_test, y_score)
ap_score = average_precision_score(y_test, y_score)
# 绘图
plt.figure(figsize=(8, 6))
plt.plot(recall, precision, label=f'Classifier (AP = {ap_score:.3f})', linewidth=2)
plt.axhline(y=pos_ratio, color='r', linestyle='--',
label=f'No-Skill Model (Precision = {pos_ratio:.3f})')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve with No-Skill Baseline')
plt.legend()
plt.grid(True, alpha=0.3)
plt.xlim([0, 1])
plt.ylim([0, 1.05])
plt.show()
关键注意事项：
- ✅ 基准线位置由数据决定：y = pos_ratio 是唯一正确的无技能基准，不可设为 0.5 或其他固定值；
- ⚠️ 避免混淆 ROC 与 PR 基准：ROC 曲线的无技能线是主对角线（y = x），因其纵轴为 TPR、横轴为 FPR，二者在随机预测下呈线性关系；PR 曲线因纵轴（Precision）含分母 TP+FP，导致其基准退化为水平线；
- ? 评估意义：若模型 PR 曲线整体低于该水平线，说明其性能不如随机猜测正样本比例——这是一个强警示信号，需检查数据泄露、标签错误或模型失效；
- ? AP 分数解读：Average Precision（AP）是对 PR 曲线下面积的近似，其值高于 pos_ratio 才表明模型具备实际判别能力。
综上，理解无技能模型在 PR 空间中的水平基准，不仅是正确绘制和解读曲线的前提，更是诊断模型在不平衡场景下真实价值的核心标尺。
