logging - Hadoop MapReduce 中间输出

标签 logging hadoop mapreduce

有没有一种方法可以在不编辑应用程序的情况下输出以记录 MapReduce 作业的中间(映射阶段)输出? (应用程序不是我的,集群是我的,我可以随意设置Hadoop集群)

最佳答案

keep.task.files.pattern参数可用于保留中间文件。作业完成后,必须手动清理中间文件。因为,这是一个map/reduce任务属性,所以必须在配置文件中设置,然后重新打包jar文件。

关于logging - Hadoop MapReduce 中间输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7867608/

相关文章:

java - 如何在mapReduce Hadoop框架中对值(及其相应的键)进行排序?

java - 如何拆分 map 输入文本(Hadoop)?

hadoop - Apache Spark 断路器

sql - MapReduce Job继续以 map = 0%运行,减少= 0%的时间

logging - Gradle 插件库日志记录

java - 无法找到附加程序

elasticsearch - 为什么logstash不产生日志?

git - 将最有用的提交消息提取到变更日志的策略

hadoop - Hive/Beeline,如何设置作业.staging目录?

hadoop - slots、map tasks、data splits、Mapper的区别和关系