tensorflow - 如何在 Keras 中的两个不同 GPU 上并行运行两个模型

Question

我想对神经网络上的参数进行网格搜索。我有两个 GPU，我想在第一个 GPU 上运行一个模型，在第二个 GPU 上运行另一个具有不同参数的模型。第一次尝试不起作用，如下所示:

with tf.device('/gpu:0'):
    model_1 = sequential()
    model_1.add(embedding) // the embeddings are defined earlier in the code
    model_1.add(LSTM(50))
    model_1.add(Dense(5, activation = 'softmax'))
    model_1.compile(loss = 'categorical_crossentropy', optimizer = 'adam')
    model_1.fit(np.array(train_x), np.array(train_y), epochs = 15, batch_size = 15)
with tf.device('/gpu:1'):
    model_2 = sequential()
    model_2.add(embedding)
    model_2.add(LSTM(100))
    model_2.add(Dense(5, activation = 'softmax'))
    model_2.compile(loss = 'categorical_crossentropy', optimizer = 'adam')
    model_2.fit(np.array(train_x), np.array(train_y), epochs = 15, batch_size = 15)

编辑:我再次运行我的代码并没有收到错误。但是，这两个模型顺序运行而不是并行运行。可以在这里进行多线程吗？那是我的下一次尝试。

网上有很多关于在 keras 上使用多个 GPU 的讨论，但是当涉及到同时运行多个模型时，讨论仅限于在单个 GPU 上运行多个模型。关于多 GPU 的讨论也仅限于数据并行化和设备并行化。我也不相信我想做，因为我不想分解单个模型以在多个 gpu 上运行。是否可以使用两个 GPU 在 keras 中同时运行两个独立的模型？

Answer 1

可以在 here 找到此问题的解决方案.然而，softmax 激活函数目前只在 CPU 上运行。需要直接cpu执行dense层:

with tf.device('cpu:0')

在 cpu 和 gpu 之间切换似乎不会导致明显的减速。不过，使用 LSTM，最好在 CPU 上运行整个模型。