hadoop - hadoop:限制并发映射数/减少每个作业的任务

标签 hadoop

我想将研究工作提交到生产集群中。由于我不需要这项工作快速完成,也不想延迟生产工作,因此我想限制在任何给定时间为该工作执行的任务数量。我可以在Hadoop 2中做到吗?

最佳答案

为了限制Hadoop mapreduce资源(map / reduce插槽),可以使用公平调度程序。您可以通过设置所需的最大映射器和最大缩减器数量来更好地创建新的Fairscheduler池,并且可以将作业提交到新创建的Fairscheduler池。

关于hadoop - hadoop:限制并发映射数/减少每个作业的任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23268055/

相关文章:

mysql - 无法使用 Sqoop 将数据从 Hive 导出到 MySQL

hadoop - 在 hadoop 中修改集群属性时是否需要重新启动守护进程?

hadoop - 默认/在hadoop 1.x中查找映射器和化简器的数量

python - 是否可以在Hive中按列表查询?

hadoop - GCE Hadoop 工作节点上的 reducer 插槽数量是多少?

hadoop - ALS.checkpointInterval 和 SparkContext.setCheckpointDir

docker - 使用 Docker 上的 Hadoop 无法访问站点

hadoop - 用kerberos访问Hadoop失败

hadoop - 如何让映射器处理来自 HDFS 的整个文件

java - 缩放基于 Java 的树