google-colaboratory - Keras model.fit 模型训练期间缓冲数据在 google colab 中被截断

Question

使用 Keras.model.fit 训练模型时，我遇到“缓冲数据在达到输出大小限制后被截断”的情况。在输出中，并且输出不再更新。

Epoch 14/30
    51/721 [=>............................] - ETA: 27s - loss: 0.7874 - dense_6_loss: 0.4921 - dense_7_loss: 0.1440 - dense_8_loss: 0.1513 - dense_6_accuracy: 0.8556 - dense_7_accuracy: 0.9532 - dense_8_accuracy: 0.9511Buffered data was truncated after reaching the output size limit.

这似乎是某种内存错误 Buffered data was truncated after reaching the output size limit

尽管文本量保持不变。

Answer 1

我对 epochs=100 和 batch_size=1 也有同样的问题。当我将 keras 详细程度设置为 2 时，问题就解决了。要保存在 stdout 中获得的学习结果，您只需使用 logger 即可，如下所示:

from keras.callbacks import CSVLogger
csv_logger = CSVLogger(
        "log.csv",
        append=True,
        separator=','
    )
history = model.fit(
        x_train,
        y_train,
        batch_size=batch_size,
        epochs=epochs,
        verbose=2,
        validation_data=(x_test, y_test),
        callbacks=[csv_logger]
    )