我在 EC2 微型实例上运行单机 Hadoop 设置。 我写了一个简单的 wordcount 程序,没有明确指定应该运行的 Map 或 Reduce 任务的数量,输入文件小于 1MB。 本例中启动的Map Task数量为2,为什么?
如果我使用 conf.setNumMapTasks(1),那么只会启动 1 个 map 。
即使输入文件 <1MB,M/R 如何决定需要 2 个 Map 任务?
最佳答案
每个作业的默认 map task 数为 2。即“mapred.map.tasks”属性的默认值为 2。
在此处验证文档: http://hadoop.apache.org/docs/r1.0.4/mapred-default.html
关于hadoop - 2 即使输入小于 block 大小,Map 任务也会启动,什么决定了 Map 任务的数量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16807713/