如果我有 distributed.Client
我可以用它来关闭远程集群吗?即杀死所有 worker 并关闭调度程序?
如果使用 Client
无法做到这一点例如,除了手动杀死每个远程进程之外,还有其他方法吗?
最佳答案
没有专门用于此的客户端功能。
调度程序有一个 close()
您可以使用 run_on_scheduler
调用的方法因此
c.run_on_scheduler(lambda dask_scheduler=None:
dask_scheduler.close() & sys.exit(0))
这将告诉工作人员断开连接并关闭,并在终止进程之前关闭所有连接。请注意,这会在客户端中引发错误,因为连接在没有回复的情况下中断。可能有更优雅的方式。
请注意,执行此操作的正确方法可能是与部署集群管理器之一进行交互。例如,
LocalCluster
有一个面向用户的close()
可以直接调用的方法。- 编辑 -
client.shutdown()
现在可用。
关于distributed - 是否可以在给定客户端实例的情况下关闭 dask.distributed 集群?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50919227/