我最近一直在使用TF2.0。我训练了一个简单的 CNN 模型(使用 Keras Sequential API)用于图像的二元分类。我使用 tf.data.Dataset 从磁盘加载图像。实际上,该模型获得了相当好的准确率,训练 binary_accuracy: 0.9831 和验证 binary_accuracy: 0.9494。
尝试使用 model.evaluate() 评估模型。其二进制精度为 0.9460。但是当我尝试使用 Predict_classes() 手动计算二进制精度时,得到的结果约为 0.384。我不知道出了什么问题。请帮帮我。
我添加了用于编译和训练模型的代码。还有用于评估我的模型的代码。
train_data = tf.data.Dataset.from_tensor_slices((tf.constant(train_x),tf.constant(train_y)))
val_data = tf.data.Dataset.from_tensor_slices((tf.constant(val_x),tf.constant(val_y)))
train_data = train_data.map(preproc).shuffle(buffer_size=100).batch(BATCH_SIZE)
val_data = val_data.map(preproc).shuffle(buffer_size=100).batch(BATCH_SIZE)
model.compile(optimizer=Adam(learning_rate=0.0001),
loss='binary_crossentropy',
metrics=[tf.keras.metrics.BinaryAccuracy()])
checkpointer = ModelCheckpoint(filepath='weights.hdf5', verbose=1, save_best_only=True)
time1 = time.time()
history = model.fit(train_data.repeat(),
epochs=EPOCHS,
steps_per_epoch=STEPS_PER_EPOCH,
validation_data=val_data.repeat(),
validation_steps=VAL_STEPS,
callbacks=[checkpointer])
29/29 [==============================] - 116s 4s/step - loss: 0.0634 - binary_accuracy: 0.9826 - val_loss: 0.1559 - val_binary_accuracy: 0.9494
现在使用未见过的数据进行测试
test_data = tf.data.Dataset.from_tensor_slices((tf.constant(unseen_faces),tf.constant(unseen_labels)))
test_data = test_data.map(preproc).batch(BATCH_SIZE)
model.evaluate(test_data)
9/9 [==============================] - 19s 2s/step - loss: 0.1689 - binary_accuracy: 0.9460
同一个模型,当我尝试使用具有相同数据集的 model.predict_classes 计算准确度时,预测结果与评估报告相差甚远。二进制准确率约为 38%。
编辑 1: 我在训练时使用的预处理函数
def preproc(file_path,label):
img = tf.io.read_file(file_path)
img = tf.image.decode_jpeg(img)
img = (tf.cast(img, tf.float32)/127.5) - 1
return tf.image.resize(img,(IMAGE_HEIGHT,IMAGE_WIDTH)),label
手动预测代码
from sklearn.metrics import classification_report
#Testing preprocessing function
def preproc_test(file_path):
img = tf.io.read_file(file_path)
img = tf.image.decode_jpeg(img)
img = (tf.cast(img, tf.float32)/127.5) - 1
return tf.image.resize(img,(IMAGE_HEIGHT,IMAGE_WIDTH))
unseen_faces = []
unseen_labels = []
for im_path in glob.glob('dataset/data/*'):
unseen_faces.append(im_path)
if 'real' in i:
unseen_labels.append(0)
else:
unseen_labels.append(1)
unseen_faces = list(map(preproc_test,unseen_faces))
unseen_faces = tf.stack(unseen_faces)
predicted_labels = model.predict_classes(unseen_faces)
print(classification_report(unseen_labels,predicted_labels,[0,1]))
precision recall f1-score support
0 0.54 0.41 0.47 34
1 0.41 0.54 0.47 26
accuracy 0.47 60
macro avg 0.48 0.48 0.47 60
weighted avg 0.48 0.47 0.47 60
最佳答案
您的模型在训练
和测试
期间都表现良好。评估准确性基于预测,因此您在使用 model.predict_classes() 时可能会犯一些逻辑错误。请检查您在评估时是否使用经过训练的模型权重,而不是任何随机初始化的模型。
评估
:模型将分离这部分训练数据,不会对其进行训练,并将在每个时期结束时评估该数据的损失和任何模型指标。 model.evaluate()
用于评估您训练的模型。它的输出是准确性或损失,而不是对输入数据的预测。
预测
:生成输入样本的输出预测。 model.predict()
实际上进行预测,其输出是根据输入数据预测的目标值。
P.S.:对于二元分类问题,精度 <=50% 比随机猜测差。
关于python - Keras 模型评估()与预测类()给出不同的精度结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58782488/