在 Spark 中，我们可以随时将数据保存在内存中，但我想知道在 Hadoop MapReduce 的 Map 和 Reduce 阶段之间数据保存在哪里。它是保存在 HDFS、磁盘还是 RAM 中？我的意思是，当数据被洗牌时(即在 Map/Combiner 之后和 Reduce 之前)，它保存在哪里？
最佳答案
根据我在 Hadoop Mapreduce 方面的知识。
1) Map 任务输出写入本地磁盘。(在 Map/Combiner 之后和 Reduce 任务之前)
2) Reducer 任务输出写入 HDFS。
如果Mapreduce作业只有Mapper任务输出写在HDFS中
希望这有帮助!!!...
关于java - Hadoop MapReduce 中 Map/Combine 之后和 Reduce 阶段之前的数据保存在哪里？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40018803/