我需要一些帮助来了解在 Keras 中拟合模型时如何计算准确度。 这是训练模型的示例历史:
Train on 340 samples, validate on 60 samples
Epoch 1/100
340/340 [==============================] - 5s 13ms/step - loss: 0.8081 - acc: 0.7559 - val_loss: 0.1393 - val_acc: 1.0000
Epoch 2/100
340/340 [==============================] - 3s 9ms/step - loss: 0.7815 - acc: 0.7647 - val_loss: 0.1367 - val_acc: 1.0000
Epoch 3/100
340/340 [==============================] - 3s 10ms/step - loss: 0.8042 - acc: 0.7706 - val_loss: 0.1370 - val_acc: 1.0000
...
Epoch 25/100
340/340 [==============================] - 3s 9ms/step - loss: 0.6006 - acc: 0.8029 - val_loss: 0.2418 - val_acc: 0.9333
Epoch 26/100
340/340 [==============================] - 3s 9ms/step - loss: 0.5799 - acc: 0.8235 - val_loss: 0.3004 - val_acc: 0.8833
那么,第一个时期的验证准确率是 1?验证精度如何优于训练精度?
这些数字显示了准确度和损失的所有值:
然后我使用 sklearn 指标来评估最终结果:
def evaluate(predicted_outcome, expected_outcome):
f1_score = metrics.f1_score(expected_outcome, predicted_outcome, average='weighted')
balanced_accuracy_score = metrics.balanced_accuracy_score(expected_outcome, predicted_outcome)
print('****************************')
print('| MODEL PERFORMANCE REPORT |')
print('****************************')
print('Average F1 score = {:0.2f}.'.format(f1_score))
print('Balanced accuracy score = {:0.2f}.'.format(balanced_accuracy_score))
print('Confusion matrix')
print(metrics.confusion_matrix(expected_outcome, predicted_outcome))
print('Other metrics')
print(metrics.classification_report(expected_outcome, predicted_outcome))
我得到了这个输出(如您所见,结果很糟糕):
****************************
| MODEL PERFORMANCE REPORT |
****************************
Average F1 score = 0.25.
Balanced accuracy score = 0.32.
Confusion matrix
[[ 7 24 2 40]
[ 11 70 4 269]
[ 0 0 0 48]
[ 0 0 0 6]]
Other metrics
precision recall f1-score support
0 0.39 0.10 0.15 73
1 0.74 0.20 0.31 354
2 0.00 0.00 0.00 48
3 0.02 1.00 0.03 6
micro avg 0.17 0.17 0.17 481
macro avg 0.29 0.32 0.12 481
weighted avg 0.61 0.17 0.25 481
为什么 Keras 拟合函数的精度和损失值与 sklearn 指标的值如此不同?
这是我的模型,希望对您有帮助:
model = Sequential()
model.add(LSTM(
units=100, # the number of hidden states
return_sequences=True,
input_shape=(timestamps,nb_features),
dropout=0.2,
recurrent_dropout=0.2
)
)
model.add(Dropout(0.2))
model.add(Flatten())
model.add(Dense(units=nb_classes,
activation='softmax'))
model.compile(loss="categorical_crossentropy",
metrics = ['accuracy'],
optimizer='adadelta')
输入数据维度:
400 train sequences
481 test sequences
X_train shape: (400, 20, 17)
X_test shape: (481, 20, 17)
y_train shape: (400, 4)
y_test shape: (481, 4)
这就是我应用 sklearn 指标的方式:
testPredict = model.predict(np.array(X_test))
y_test = np.argmax(y_test.values, axis=1)
y_pred = np.argmax(testPredict, axis=1)
evaluate(y_pred, y_test)
看来我错过了什么。
最佳答案
你听起来有点困惑。
首先,您要比较苹果和橙子,即 Keras 在 60 个样本集上报告的验证准确性(注意 Keras 打印的第一条信息性消息,Train on 340样本,在 60 个样本上验证
),测试准确性由 scikit-learn 在您的 481 个样本测试集上报告。
其次,您只有 60 个样本的验证集太小了;在如此小的样本中,计算指标的剧烈波动(例如您报告的指标)当然并不意外(我们需要足够大的数据集,而不仅仅是训练数据集)。 p>
第三,至少可以说,您的训练/验证/测试集划分非常不寻常;标准做法要求分配大约 70/15/15% 或类似的比例,而您使用的是 38/7/55% 的分配(即 340/60/481 个样本)...
最后,在不了解数据详细信息的情况下,很可能只有 340 个样本不足以拟合像您这样的 LSTM 模型来完成良好的 4 类分类任务。
对于初学者,首先要将数据更适本地分配到训练/验证/测试集中,并确保将同类产品与同类产品进行比较...
PS 在类似的问题中,您还应该包括您的 model.fit()
部分。
关于python - Sklearn 指标值与 Keras 值有很大不同,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54580679/