我使用 GPU (1080 ti) 训练了一个神经网络。在 GPU 上的训练速度远优于使用 CPU。
目前，我想使用 TensorFlow Serving 为这个模型提供服务。我只是想知道在服务过程中使用 GPU 是否对性能有同样的影响？
由于训练适用于批处理，但推理(服务)使用异步请求，您是否建议在使用 TensorFlow 服务的模型中使用 GPU？
最佳答案
你仍然需要在图上做很多张量运算来预测一些东西。所以 GPU 仍然为推理提供性能提升。看看这个nvidia paper ，他们没有在 TF 上测试他们的东西，但它仍然是相关的:
Our results show that GPUs provide state-of-the-art inference performance and energy efficiency, making them the platform of choice for anyone wanting to deploy a trained neural network in the field. In particular, the Titan X delivers between 5.3 and 6.7 times higher performance than the 16-core Xeon E5 CPU while achieving 3.6 to 4.4 times higher energy efficiency.
关于tensorflow-serving - 使用 GPU 对服务 TensorFlow 模型的性能有何影响？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44142733/