我正在训练一个超过 GPU 内存(超过 11 GB)的大型模型。我想知道 tensorflow 中是否有任何方法可以将 GPU 内存交换到主内存中。一些效率损失是可以接受的。完全在 CPU 上训练模型解决了内存问题，但速度太慢。
最佳答案
tensorflow 中有一些类可以使用 swap_memory 参数创建网络。
例如对于 RNN，您可以使用 tf.nn.dynamic_rnn 或 tf.nn.raw_rnn
还有一个更通用的循环类 tf.while_loop 带有这个参数。
但是恕我直言，没有使用内存交换的通用选项。
只要看看 tensorflow.org 并使用它的搜索功能。您可以使用swap_memory
找到相关类关于memory - tensorflow中有没有 "swapping"GPU内存的方法？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49440630/