python - 使用 Keras 进行实时训练和预测

Question

我想使用 Keras 进行实时训练和预测设置。在我的场景中，我通过 MQTT 获取实时数据，这些数据应该用于训练 (LSTM) 神经网络和/或将它们应用于获得预测。

我使用的是具有 GPU 支持和相当强大的 GPU 容量的 Tensorflow 后端，但在我的场景中，Keras 并没有真正从 GPU 加速中获益。 (我使用 keras 存储库中的示例进行了一些性能测试，以确保 GPU 加速正常工作)。在我的第一种方法中，我使用 model.train_on_batch(...) 方法来训练网络，其中每个项目都来自 MQTT:

model = load_model()

def on_message(msg):
    """
    Method called by MQTT client each time new data comes in
    """

    if msg.topic == 'my/topic':
        X, Y = prepare_data(msg.payload)

        prediction = model.predict(X)
        loss = model.train_on_batch(X, Y)

        send_to_visualization_tool(prediction, loss)

此设置中的一个训练步骤大约需要 200 毫秒。但是，当我引入缓冲区时，例如缓冲 100 个数据点，整个批处理的训练时间仅略有增加。这表明批量训练的设置时间有巨大的开销。我还注意到，当使用 size 1 批处理时，CPU 消耗相当高，而 GPU 几乎没有使用。

作为替代方案，我现在引入了同步队列，每当数据传入时，MQTT 客户端就会推送数据，然后神经网络将处理上一批数据时传入的所有数据作为一个批处理进行消费:

train_data_queue = Queue.Queue()

# MQTT client running in separate thread
def on_message(msg):
    train_data_queue.put(msg.payload)

model = load_model()

while True:
    train_data_batch = dequeue_all(train_data_queue)  # dequeue all items from queue
                                                      # or block until at least one
                                                      # item is present
    X, Y = prepare_data(train_data_batch)

    predictions = model.predict_on_batch(X)
    losses = model.train_on_batch(X, Y)

    send_to_visualization_tool(predictions, losses)

这种方法工作正常，但如果我能够摆脱同步队列和多线程的额外复杂性，那就太好了。 IE。开始进场工作。

因此，我的问题是:有没有办法减少一批训练的开销？例如。通过在纯 tensorflow 中重新实现模型？ 或者你能想出更好的方法来使用 Keras 进行实时训练吗？

Answer 1

keras 的性能应该与原始 tensorflow 的性能大致相似，因此我不建议重写您的模型。

事实上，现代硬件通常使用单个示例进行训练所需的时间与使用一批示例进行训练所需的时间大致相同，这就是为什么我们花费如此多的精力来进行批处理。如果你想使用tf.contrib.batching.batch_function，你可以摆脱同步队列的复杂性。但如果您想获得额外的吞吐量，您仍然需要从多个线程提供数据。