我想监视 dask 工作人员并在它们陷入空闲状态时重新启动它们。 有没有办法检测空闲的 worker ,例如通过计算worker在最后一分钟的平均CPU利用率?
最佳答案
您可能想查看 Scheduler.workers
中的调度程序状态
尝试
workers = client.run(lambda dask_scheduler: dask_scheduler.workers)
然后查看每个WorkerState
对象的.metrics
属性
{address: ws.metrics["cpu"] for address, ws in workers.items()}
(这里我把CPU拔出来了,但是里面有很多信息)
您可能还想了解自适应调度
关于python - Dask分布式: How to computationally recognize if worker is idling?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64561884/