当 reducer 尝试从临时文件夹复制中间数据(由 Mapper 发出)时,是否会复制它们?
最佳答案
不,映射器发出的数据将在映射器机器的本地磁盘上。 reducer 通过网络复制它。如果映射器节点在复制期间或复制开始之前发生故障,则会在其他节点上生成一个新的映射器任务。
关于hadoop - Hadoop 中 reducer 级别的复制?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36686891/