随着预测的执行，Tensorflow Serving 惰性初始化模型 DAG 中的节点。这使得很难估计保存整个模型所需的内存 (RAM)。 是否有标准方法强制 Tensorflow Serving 将模型完全初始化/加载到内存中？
最佳答案
您可以使用模型预热来强制将所有组件加载到内存中。 [1]
[1] https://www.tensorflow.org/tfx/serving/saved_model_warmup
关于c++ - 急切加载整个模型以估计 Tensorflow Serving 的内存消耗，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56012618/