一文读懂分类模型评估指标

模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数

混淆矩阵

混淆矩阵用于评估模型在分类问题中的性能，它是一个展示模型对样本分类情况的表格。行代表实际类别，列代表预测类别。对于二分类问题，混淆矩阵的结构如下所示：

• True Positive (TP): 实际为正例，模型预测为正例的样本数，模型正确识别正面实例的能力。更高的TP通常是可取的
• False Negative (FN): 实际为正例，模型预测为负例的样本数，根据应用程序的不同，这可能是关键的(例如，未能检测到安全威胁)。
• False Positive (FP): 实际为负例，模型预测为正例的样本数，强调模型在不应该预测为正的情况下预测为正的情况，这可能会产生取决于应用的后果(例如，医疗诊断中不必要的治疗)
• True Negative (TN): 实际为负例，模型预测为负例的样本数，反映模型正确识别否定实例的能力。通常需要更高的TN

初学者看起来很乱，但实际上这很简单。后面的Negative/Positive是模型预测值，前面的True/False是模型预测的准确性。例如，True Negative表示模型预测为Negative且与实际值相符，即预测正确。这样就容易理解了。以下是一个简单的混淆矩阵：

from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # Example predictions and true labels y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0] y_pred = [1, 0, 1, 0, 0, 1, 0, 1, 1, 1] # Create a confusion matrix cm = confusion_matrix(y_true, y_pred) # Visualize the blueprint sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=["Predicted 0", "Predicted 1"], yticklabels=["Actual 0", "Actual 1"]) plt.xlabel("Predicted") plt.ylabel("Actual") plt.show()

当你想强调正确的预测和整体准确性时，使用TP和TN。当你想了解你的模型所犯的错误类型时，使用FP和FN。例如，在误报成本很高的应用程序中，最小化误报可能是至关重要的。

举个例子，我们来谈谈垃圾邮件分类器。混淆矩阵可以帮助我们了解该分类器正确识别了多少封垃圾邮件，以及错误地将多少封非垃圾邮件标记为垃圾邮件

基于混淆矩阵，可以计算许多其他评估指标，例如准确度、精确度、召回率和F1分数。

Accuracy

根据我们上面的总结，计算的是能够正确预测的的比例，分子是TP和TN都是True，也就是模型预测对了的总数

Precision

可以看到公式，他计算的是Positive 的占比，也就是说数据中所有Positive的，正确预测对了有多少，所以精确度Precision又被称作查准率

在误报有重大后果或成本的情况下，这一点变得非常重要。以医学诊断模型为例，精确度的确保确保只有真正需要治疗的人接受治疗

Recall

回收率，又称为敏感度或真阳性率，是指模型捕捉到所有正类实例的能力

从公式中可以看出，它的主要目的是计算模型所捕获的实际正例的数量，也就是正例的比例。因此，Recall又被称为查全率

F1 Score

F1分数的计算公式为： F1 = 2 * (精确度 * 召回率) / (精确度 + 召回率) 其中，精确度是指模型预测为正例的样本中，实际为正例的比例；召回率是指模型正确预测为正例的样本数占所有实际为正例的样本数的比例。F1分数是精确度和召回率的调和平均值，它能够综合考虑模型的准确性和全面性，以评估模型的性能

F1分数很重要，因为它提供了精确率和召回率之间的折衷。当你想在准确率和召回率之间找到平衡时，或者说针对一般的应用可以使用F1 Score

总结

在本文中，我们详细介绍了混淆矩阵、准确度、精确度、召回率和F1分数，并指出这些指标可以有效评估和提升模型的性能

以上是一文读懂分类模型评估指标的详细内容。更多信息请关注PHP中文网其他相关文章！