python - 是否可以在某些工作列表上运行 dask/分布式作业

标签 python distributed dask

我有一个包含 40 个工作线程的计算网络,但我只需要在某些主机上执行计算。是否可以限制或重建网络以仅使用指定的工作人员?

最佳答案

是的,您可以使用 workers= 关键字为 client.submit、client.map、client.compute 或 client.persist 指定特定工作人员。

futures = client.map(func, args, workers=['worker-1', 'worker-2'])

参见http://distributed.readthedocs.io/en/latest/locality.html#user-control 更多选择

您还可以向工作人员注册 GPU 等资源,并将计算限制在这些资源上。请参阅http://distributed.readthedocs.io/en/latest/resources.html了解更多信息。

关于python - 是否可以在某些工作列表上运行 dask/分布式作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42838988/

相关文章:

rest - REST在分布式Web应用程序中有什么用

python - 调用 dask.distributed.Executor 和 dask.distributed.Client 有什么区别

python - 通过移植到 PyMC3 的蒙特卡洛马尔可夫链的简单贝叶斯网络

python - 奇怪的 JSON 到 CSV 的转换

python - 在将字符串强制转换为 unicode 时如何让 python 2.x 发出警告?

graph - 分布式 tensorflow : the difference between In-graph replication and Between-graph replication

pandas - pandas和parquet的使用效率

python - dask Client.map() 调用期间会发生什么?

python - 使用 dask 作为任务调度来并行运行机器学习模型

python - 如何在 Keras 中使用 deconv2d 获得与原始输入大小相同的层?