tensorflow - TensorFlow Worker 驱动程序如何训练过程并导致 PS 作业上的变量更新?

标签 tensorflow

我正在阅读 tensorflow 代码,并遇到这个答案 tensorflow-using-parameter-servers-in-distributed-training

很想知道细节吗?

最佳答案

这里有一些关于如何设置和使用分布式模型的详细信息,地址:https://www.tensorflow.org/deploy/distributed .

看起来,worker 和“参数服务器”之间几乎没有什么区别,除了 ps 节点除了 server.join() 之外没有任何代码,这允许其他节点对它们进行操作。在上述文档的示例中,在工作线程上运行的代码在 ps 设备上建立变量,使用它们计算模型,并像本地资源一样优化它们 - 使用本质上相同的 机制就好像将一个操作分配给 GPU 或 cpu。

您有兴趣了解更具体的内容吗?

关于tensorflow - TensorFlow Worker 驱动程序如何训练过程并导致 PS 作业上的变量更新?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48318936/

相关文章:

git - "/tensorflow-serving-devel"标志 :Invalid reference format 的无效参数 "-t,--tag"

python - TensorFlow DCGAN 模型 : stability and convergence problems

multithreading - tensorflow-serving 支持多线程吗?

python - 在图形执行模式下拆分 tensorflow tf.data 数据集的示例

python - 在用于服务模型的 Tensorflow 中,服务输入函数应该做什么

python - 无论 classifier.fit 中的步数如何,Tensorflow 都会返回相同的精度

python - 使用 TF Estimator 时 Tensorflow 分布式训练的损失和学习率缩放策略

python - 如何在离线电脑上安装tensorflow

tensorflow - tf.nn.relu vs tf.keras.activations.relu

python - 在自定义 Keras 层中使用 python 代码和 tf.py_func