python - 哪些 tensorflow 操作会触发内存分配？

Question

阅读 TensorArray 的文档后类中，我遇到了这一行:

If True, the TensorArray will be colocated on the same device as the Tensor used on its first write (write operations include write, unstack, and split). If False, the TensorArray will be placed on the device determined by the device context available during its initialization.

这让我想知道是否只有某些操作才会触发实际的内存分配和读/写，以及是否有这些操作的列表。

我也想知道这一点，因为在创建暂时非常大的张量时，由于 OOM 错误而存在限制，但无论如何都会以批处理方式处理，因此程序不需要实际保存张量的所有数据- 类似于数据集 API 允许处理无限大型数据集，因为所有内容都是按需加载的。

Answer 1

从 Tensorflow-GPU 角度来看:没有列表。

TF 在 GPU 上运行有两种方式:

• 没有 XLA
• 与XLA

如果没有 XLA，一旦操作 A0 完成， tensorflow 将根据 A0 分配所有操作的内存:B0、B1、B2 等。一旦这些操作完成，TF 将释放不再需要的 A0 内存。如果您有卷积神经网络，您通常会保存所有前向路径激活，直到后向路径开始。

使用 XLA，可以将多个操作合并到 block 中。在 block 内，可以合并/拆分/复制操作以减少内存使用。 XLA 集群将有自己的内存管理例程，这取决于操作如何混合在一起。多个 XLA 集群将表现为多个非 XLA 操作:它们都会尽快启动，可能会导致次优峰值内存使用。