<分区>
我正在使用 Python 并且有一些混淆矩阵。我想通过多类分类中的混淆矩阵来计算精度和召回率以及 f-measure。我的结果日志不包含 y_true
和 y_pred
,只包含混淆矩阵。
你能告诉我如何从多类分类中的混淆矩阵中得到这些分数吗?
<分区>
我正在使用 Python 并且有一些混淆矩阵。我想通过多类分类中的混淆矩阵来计算精度和召回率以及 f-measure。我的结果日志不包含 y_true
和 y_pred
,只包含混淆矩阵。
你能告诉我如何从多类分类中的混淆矩阵中得到这些分数吗?
最佳答案
让我们考虑 MNIST 数据分类(10 个类)的情况,对于 10,000 个样本的测试集,我们得到以下混淆矩阵 cm
(Numpy 数组):
array([[ 963, 0, 0, 1, 0, 2, 11, 1, 2, 0],
[ 0, 1119, 3, 2, 1, 0, 4, 1, 4, 1],
[ 12, 3, 972, 9, 6, 0, 6, 9, 13, 2],
[ 0, 0, 8, 975, 0, 2, 2, 10, 10, 3],
[ 0, 2, 3, 0, 953, 0, 11, 2, 3, 8],
[ 8, 1, 0, 21, 2, 818, 17, 2, 15, 8],
[ 9, 3, 1, 1, 4, 2, 938, 0, 0, 0],
[ 2, 7, 19, 2, 2, 0, 0, 975, 2, 19],
[ 8, 5, 4, 8, 6, 4, 14, 11, 906, 8],
[ 11, 7, 1, 12, 16, 1, 1, 6, 5, 949]])
为了获得精度和召回率(每个类),我们需要计算每个类的 TP、FP 和 FN。我们不需要 TN,但我们也会计算它,因为它会帮助我们进行合理性检查。
真阳性就是对角线元素:
# numpy should have already been imported as np
TP = np.diag(cm)
TP
# array([ 963, 1119, 972, 975, 953, 818, 938, 975, 906, 949])
误报是相应列的总和,减去对角线元素(即 TP 元素):
FP = np.sum(cm, axis=0) - TP
FP
# array([50, 28, 39, 56, 37, 11, 66, 42, 54, 49])
同样,假阴性是相应行的总和,减去对角线(即 TP)元素:
FN = np.sum(cm, axis=1) - TP
FN
# array([17, 16, 60, 35, 29, 74, 20, 53, 68, 60])
现在,True Negatives 有点棘手;让我们首先思考真正的否定到底意味着什么,相对于类 0
:它意味着所有被正确识别为不是 0
的样本/em>。所以,本质上我们应该做的是从混淆矩阵中删除相应的行和列,然后将所有剩余元素相加:
num_classes = 10
TN = []
for i in range(num_classes):
temp = np.delete(cm, i, 0) # delete ith row
temp = np.delete(temp, i, 1) # delete ith column
TN.append(sum(sum(temp)))
TN
# [8970, 8837, 8929, 8934, 8981, 9097, 8976, 8930, 8972, 8942]
让我们进行完整性检查:对于每个类,TP、FP、FN 和 TN 的总和必须等于我们测试集的大小(此处为 10,000):让我们确认这一点确实如此:
l = 10000
for i in range(num_classes):
print(TP[i] + FP[i] + FN[i] + TN[i] == l)
结果是
True
True
True
True
True
True
True
True
True
True
计算完这些数量后,现在可以直接获得每个类别的准确率和召回率:
precision = TP/(TP+FP)
recall = TP/(TP+FN)
这个例子是
precision
# array([ 0.95064166, 0.97558849, 0.96142433, 0.9456838 , 0.96262626,
# 0.986731 , 0.93426295, 0.95870206, 0.94375 , 0.9509018])
recall
# array([ 0.98265306, 0.98590308, 0.94186047, 0.96534653, 0.97046843,
# 0.91704036, 0.97912317, 0.94844358, 0.9301848 , 0.94053518])
类似地,我们可以计算相关量,例如特异性(回想一下,灵敏度与召回率是一回事):
specificity = TN/(TN+FP)
我们示例的结果:
specificity
# array([0.99445676, 0.99684151, 0.9956512 , 0.99377086, 0.99589709,
# 0.99879227, 0.99270073, 0.99531877, 0.99401728, 0.99455011])
您现在应该能够为任何大小的混淆矩阵虚拟地计算这些量。
关于python - 如何从 Python 中的混淆矩阵中获取精度、召回率和 f-measure,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48100173/