hadoop - 多少个映射器和化简器将为完成一项Hadoop工作而采取行动?

标签 hadoop mapreduce

我以伪分布式模式将Hadoop配置为单节点。我想知道它将如何精确地处理任何工作,以及多少个Mapper和Reducer会为完成工作采取行动?

最佳答案

映射器取决于您的Inputs拆分,而reducer取决于您在job.setNumReduceTasks()中设置的值(如果不是默认值1)。有关更多信息,请阅读权威指南。

关于hadoop - 多少个映射器和化简器将为完成一项Hadoop工作而采取行动?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32225600/

相关文章:

java - 使用 MapReduce 查找靠近特定记录的所有记录

hadoop - HBase,Map/Reduce和SequenceFiles:mapred.output.format.class与新的Map API模式不兼容

hadoop - mapReduce和顺序方法

shell - 错误 : Permission denied: '/user'

hadoop - 简单 Yarn 应用程序的 NoClassDefFoundError

hadoop - Cloudera manager - hadoop安装失败

java - 旅行推销员/车辆路线用例的最佳实现

hadoop - hadoop流错误,使用python mapreduce

hadoop - 使用hadoop和hbase运行单词计数器示例

hadoop - 容器运行超出内存限制