我正在阅读 tensorflow 代码,并遇到这个答案 tensorflow-using-parameter-servers-in-distributed-training
很想知道细节吗?
最佳答案
这里有一些关于如何设置和使用分布式模型的详细信息,地址:https://www.tensorflow.org/deploy/distributed .
看起来,worker 和“参数服务器”之间几乎没有什么区别,除了 ps
节点除了 server.join()
之外没有任何代码,这允许其他节点对它们进行操作。在上述文档的示例中,在工作线程上运行的代码在 ps
设备上建立变量,使用它们计算模型,并像本地资源一样优化它们 - 使用本质上相同的
机制就好像将一个操作分配给 GPU 或 cpu。
您有兴趣了解更具体的内容吗?
关于tensorflow - TensorFlow Worker 驱动程序如何训练过程并导致 PS 作业上的变量更新?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48318936/