machine-learning - 无法处理多类和连续的混合

Question

输出有四个类别:[0,1,2,3] 预测是[0,1]中的连续数(使用sigmoid函数后)

我在sklearn中尝试过混淆矩阵，f1_score，但是两种情况都出现错误:

ValueError: Can't handle mix of multiclass and continuous

如果我将其简化为二元分类器并使用AUC对其进行评估，则不会出现错误，这意味着AUC可以处理连续输入。

我的问题是在哪里可以找到 sklearn 中的评估，以便不仅可以处理多类，还可以处理连续输入。

Answer 1

在处理问题的细节之前，您需要确保您了解 AUC 指标以及如何正确使用它。

要了解 AUC 指标的含义，您可以开始 here .

本质上，您希望获得基于不同阈值的预测列表(即移动它们并每次都获得预测)，计算每个阈值实例的误报率和漏报率，然后计算它们的 AUC。

计算和评估多类别 AUC 并不简单。您可以找到更多信息here ，但我在下面附上了一个很好的代码片段来帮助您入门。

# Compute macro-average ROC curve and ROC area

# First aggregate all false positive rates, 
# assuming fpr is a list of false positive values per class
all_fpr = np.unique(np.concatenate([fpr[i] for i in range(n_classes)]))

# Then interpolate all ROC curves at this points
mean_tpr = np.zeros_like(all_fpr)
for i in range(n_classes):
    mean_tpr += interp(all_fpr, fpr[i], tpr[i])

# Finally average it and compute AUC
mean_tpr /= n_classes

fpr["macro"] = all_fpr
tpr["macro"] = mean_tpr
roc_auc["macro"] = auc(fpr["macro"], tpr["macro"])

# Plot all ROC curves
plt.figure()
plt.plot(fpr["micro"], tpr["micro"],
     label='micro-average ROC curve (area = {0:0.2f})'
           ''.format(roc_auc["micro"]),
     color='deeppink', linestyle=':', linewidth=4)

plt.plot(fpr["macro"], tpr["macro"],
     label='macro-average ROC curve (area = {0:0.2f})'
           ''.format(roc_auc["macro"]),
     color='navy', linestyle=':', linewidth=4)

colors = cycle(['aqua', 'darkorange', 'cornflowerblue'])
for i, color in zip(range(n_classes), colors):
    plt.plot(fpr[i], tpr[i], color=color, lw=lw,
         label='ROC curve of class {0} (area = {1:0.2f})'
         ''.format(i, roc_auc[i]))

plt.plot([0, 1], [0, 1], 'k--', lw=lw)
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Some extension of Receiver operating characteristic to multi-class')
plt.legend(loc="lower right")
plt.show()