google-compute-engine - 在 Google Compute Engine 上设置和运行网格作业的工具?

标签 google-compute-engine sungridengine condor starcluster embarrassingly-parallel

我需要在 Google Compute Engine 上设置和运行“令人尴尬的”并行作业。我正在寻找工具来促进这一点。

在 EC2 上,我使用 MIT 的 Starcluster 来设置集群,然后将作业提交给 SGE。

Google Compute Engine 是否有类似的工具可用?

如果没有,我可能会手动设置一个 Condor Cluster 来完成这些工作。嗡嗡杀。

最佳答案

我没有在那里找到任何东西。 Starcluster 目前支持 GCE 的路径是等待官方 boto 对 GCE 的支持。这一切可能需要一段时间,所以我继续编写了一些 python 代码来启动和终止一个基本集群。

我分享了 here on github .

我希望其他人觉得它很有用,至少作为示例代码。

关于google-compute-engine - 在 Google Compute Engine 上设置和运行网格作业的工具?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17221373/

相关文章:

bash - 评论中的变量扩展

linux - Sun Grid Engine 无法获取执行节点的主机信息

python - 阻止 Python 使用 Condor 作业覆盖文件

python-2.7 - 如何在 Condor 上运行 python 程序?

秃鹰:找不到本地 schedd 的地址

python - FTP 服务器应如何响应检索不存在的文件的尝试

python - 在 Sun Grid Engine 中运行 Python MPI 程序

google-compute-engine - GCE Persistent Disk 与 Kubernetes Pod 相同的区域?

google-cloud-platform - 如何在本地运行 Jupyter,仅使用内部 IP 地址连接到 Google Cloud VM?

json - mongoimport 失败 : error connecting to db server: no reachable servers hosted on google compute