我有一个 GPU 可供部署，但需要部署多个模型。我不想将完整的 GPU 内存分配给第一个部署的模型，因为那样我就无法部署我的后续模型。在训练时，这可以使用 gpu_memory_fraction 来控制。范围。
我正在使用以下命令部署我的模型 -
tensorflow_model_server --port=9000 --model_name=<name of model> --model_base_path=<path where exported models are stored &> <log file path>
我可以设置一个标志来控制 gpu 内存分配吗？
谢谢
最佳答案
新的 TF 服务允许在此 pull request 中设置标志 per_process_gpu_memory_fraction
关于deep-learning - tensorflow 服务 : Using a fraction of GPU memory for each model，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47587321/