java - 具有 : remoting, 负载平衡、故障转移、依赖 DAG 的开源 Java Job Scheduler？

Question

我正在寻找一个开源的 Java 作业调度程序，它允许发送不同类型的作业(不仅是 flop 密集型作业)并将它们分布在多台机器上。它还应该监视作业并在任何作业失败或从属节点崩溃时在不同的节点上重试。我也很欣赏类似于 OpenMP 或 MPI 的负载平衡。理想情况下，您应该能够传入作业依赖关系图，并且作业将以拓扑排序的方式进行处理，并且应尽可能进行并行化。

据我所知，与此最接近的匹配项是 Quartz，但这只允许按时间安排单个作业，并且没有远程处理、故障转移、负载平衡和依赖项处理功能。

这样的解决方案可以构建在 Quartz 和 MOM 服务器之上，例如ActiveMQ，但我想确保在构建它之前首先没有任何东西。

可能 MapReduce 端口到 Java 也可以。

Answer 1

您应该看看网格计算框架，例如 HTCondor , Hadoop ( map /减少)，JPPF或 GridGain ，这就是它们的用途。