Dask jobqueue 似乎是一个非常好的解决方案，可以将作业分发到 PBS/Slurm 管理的集群。但是，如果我正确理解它的用法，则必须在头/登录节点上创建“PBSCluster/SLURMCluster”实例。然后您可以在同一个节点上创建一个客户端实例，您可以开始向其提交作业。
我想做的是让作业在远程机器上产生，通过 SSH 发送到簇头节点，然后提交到 dask-jobqueue。我看到 dask 支持通过 ssh 将作业发送到“distributed.deploy.ssh.SSHCluster”，但这似乎是为在 ssh 之后立即执行而设计的，而不是进一步将其放入作业队列。
总而言之，我想要一个作业在 remote --ssh--> cluster-head --slurm/jobqueue--> cluster-node 中运行的工作流程。现有工具可以做到这一点吗？
最佳答案
我目前正在研究这个问题。我的想法是使用 paramiko 设置一个 SSH 隧道，然后使用 Pyro5 从我的本地机器与集群对象通信。
关于ssh - 有没有办法通过 ssh 使用 dask jobqueue，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/65401674/