python - 如何获得神经网络的ROC曲线？

Question

我正在尝试获取我的神经网络的 ROC 曲线。我的网络使用 pytorch，我使用 sklearn 来获取 ROC 曲线。我的模型输出二进制对错以及输出的概率。

output = model(batch_X)       
_, pred = torch.max(output, dim=1)

我给模型输入数据的两个样本(我做这部分是正确的还是应该只是输入数据的 1 个样本而不是两者？) 我采用概率( _ )和两个输入应该是什么的标签，然后像这样将其提供给 sklearn

nn_fpr, nn_tpr, nn_thresholds = roc_curve( "labels go here" , "probability go here" )

接下来我绘制它。

plt.plot(nn_fpr,nn_tpr,marker='.')
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate' )
plt.show()

我的模型非常准确(108,000 个模型中有 0.0167% 是错误的)，但我有一个凹形图，我被告知它通常不应该是凹形的。 (附图)

我使用神经网络已有一段时间了，但从未有人要求我绘制 ROC 曲线。所以我的问题是，我这样做对吗？也应该是两个标签还是一个标签？我见过的所有神经网络示例都使用 Keras，如果我没记错的话，它具有概率函数。因此我不知道 PyTorch 是否以 sklearn 想要的方式输出概率。对于我能找到的所有其他示例，它们都不是针对神经网络的，它们内置了概率函数。

Answer 1

函数roc_curve expects带有真实标签 y_true 的数组和带有正类 y_score 概率的数组(通常表示第 1 类)。因此你需要的不是

_, pred = torch.max(output, dim=1)

但很简单(如果你的模型输出概率，这在 pytorch 中不是默认的)

probabilities = output[:, 1]

或者(如果你的模型输出 logits，这在 pytorch 中很常见)

import torch.nn.functional as F

probabilities = F.softmax(output, dim=1)[:, 1]

在那之后，假设带有真实标签的数组称为 labels，并且具有形状 (N,)，您将 roc_curve 称为:

y_score = probabilities.detach().numpy()
nn_fpr, nn_tpr, nn_thresholds = roc_curve(labels, y_score)

这样你会得到正确的结果( torch.max 不是这种情况)

作为建议——对于二元分类，我建议使用末端带有 sigmoid 的模型和一个输出(正类概率)，例如:

model = nn.Sequential(nn.Linear(input_dim, hidden_dim), 
                      nn.ReLU(), 
                      nn.Linear(hidden_dim, 1), 
                      nn.Sigmoid())

这样您就可以使用 nn.BCELoss 训练模型，它需要概率(不像 nn.CrossEntropyLoss 需要 logits)。获取 roc 曲线的代码也变得更简单:

probabilites = model(batch_X)
y_score = probabilites.squeeze(-1).detach().numpy()
fpr, tpr, threshold = roc_curve(labels, y_score)

看看gist其中为神经网络分类器创建的 ROC 曲线。