我只有一个 GPU(Titan X Pascal，12 GB VRAM)，我想在同一个 GPU 上并行训练多个模型。
我尝试将我的模型封装在一个 python 程序(称为 model.py)中，并在 model.py 中包含代码以限制 VRAM 使用(基于 this example)。我能够在我的 GPU 上同时运行多达 3 个 model.py 实例(每个实例占用的 VRAM 略低于 33%)。奇怪的是，当我尝试使用 4 个模型时，我收到了一个错误:
2017-09-10 13:27:43.714908: E tensorflow/stream_executor/cuda/cuda_dnn.cc:371] coul
d not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
2017-09-10 13:27:43.714973: E tensorflow/stream_executor/cuda/cuda_dnn.cc:338] coul
d not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2017-09-10 13:27:43.714988: F tensorflow/core/kernels/conv_ops.cc:672] Check failed
: stream->parent()->GetConvolveAlgorithms( conv_parameters.ShouldIncludeWinogradNon
fusedAlgo<T>(), &algorithms)
Aborted (core dumped)
我后来观察到on the tensorflow Github人们似乎认为每个 GPU 运行多个 tensorflow 进程是不安全的。这是真的吗，是否有解释为什么会这样？为什么我能够在同一个 GPU 上运行 3 个 tensorflow 进程而不是 4 个？
最佳答案
简而言之:是的，在同一个 GPU 上运行多个进程是安全的(截至 2017 年 5 月)。以前这样做是不安全的。
关于python - 在同一个 GPU 上运行多个 tensorflow 进程不安全吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46145100/