hadoop - Hadoop 中 reducer 级别的复制?

标签 hadoop mapreduce bigdata

当 reducer 尝试从临时文件夹复制中间数据(由 Mapper 发出)时,是否会复制它们?

最佳答案

不,映射器发出的数据将在映射器机器的本地磁盘上。 reducer 通过网络复制它。如果映射器节点在复制期间或复制开始之前发生故障,则会在其他节点上生成一个新的映射器任务。

关于hadoop - Hadoop 中 reducer 级别的复制?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36686891/

相关文章:

hadoop - 如何将多个输入文件用作一个输入文件?

hadoop - RecordReader 的概念

database - 如何在远程机器上使用 R 中的 ff 包?

hadoop - jobconf 和 job 之间的基本区别是什么?

hadoop - 如何找到 Pig 中一列的平均值和两列相减的平均值?

hadoop - 仅加载 PIG 中的特定字段?

java - Hadoop排序阶段需要几个小时

hadoop - 如何在代码中找到 hadoop 作业的作业 ID?

hadoop - 映射器何时将其输出存储到本地硬盘?

java - Hadoop : Code shipped from master to slave