我想将研究工作提交到生产集群中。由于我不需要这项工作快速完成,也不想延迟生产工作,因此我想限制在任何给定时间为该工作执行的任务数量。我可以在Hadoop 2中做到吗?
最佳答案
为了限制Hadoop mapreduce资源(map / reduce插槽),可以使用公平调度程序。您可以通过设置所需的最大映射器和最大缩减器数量来更好地创建新的Fairscheduler池,并且可以将作业提交到新创建的Fairscheduler池。
关于hadoop - hadoop:限制并发映射数/减少每个作业的任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23268055/