centos - 如何在多个排队环境中轻松获得相同的提交命令?

标签 centos cluster-computing job-scheduling sungridengine

排队系统是否有任何标准命令集?
我知道没有人希望 shell 脚本是可移植的,但为什么 OpenLava、SunGridEngine、Platform LSF 等不能同意使用一组通用命令来完成常见的排队任务,比如提交作业?

我不必了解 qsub、bsub 等,因为它们从用户的 POV 做同样的事情。

是否有人制作了包装器来实现跨多个主机提交与集群平台无关的作业的目标?

谷歌搜索表明没有人建立这样一个标准化的平台,甚至开始为它鼓动:
https://www.google.com/search?q=posix+queueing+standard&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a&channel=sb#channel=sb&q=cluster+queueing+standard&rls=org.mozilla:en-US:official

tentakel 和 jobscheduler 看起来也很有趣,但它们都不是 CentOS 的一部分。

最佳答案

一个可能的解决方案是DRMAA .我知道 SGE 和 LSF 都支持 DRMAA,但它不是统一的提交脚本,而是统一的库。

这种常见的提交是网格世界中的常见问题。有很多解决方案,例如:

  • 被翻译的通用作业语言,例如 RSL(globus)和 JSL(作业规范语言标准,由少数网格中间件实现)。
  • 将一种提交语言翻译成另一种或许多其他语言。如神鹰的batch universe .

  • 网格中间件对于您的用例来说似乎很繁重。像 Bosco可能对你有用。或者只是普通的老 Condor(只需学习 Condor 语言即可提交给 PBS、LSF 或 SGE)。

    但是你是对的,每个调度器都有自己的提交语言,并且没有统一的提交方法。

    关于centos - 如何在多个排队环境中轻松获得相同的提交命令?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22924820/

    相关文章:

    ubuntu - 在单个 ubuntu 服务器上设置 cassandra 多节点集群

    couchdb - 如何从 BigCouch 集群中删除节点?

    kubernetes - 由于验证错误,无法使用 kubectl 创建作业

    redis 服务器使用高 cpu

    linux - 如何知道我是否有性欲?

    linux - centos中如何压缩文件并备份

    python - 在多台机器上运行进程(主要是Python)

    python - centos 6.5 上 Apache 2.2.15 上的 Django

    mysql - MySQL Cluster 之上的 Hive 层

    python - 将 apscheduler 从 3.0.1 升级到 3.1.0