有没有一种方法可以在不编辑应用程序的情况下输出以记录 MapReduce 作业的中间(映射阶段)输出? (应用程序不是我的,集群是我的,我可以随意设置Hadoop集群)
最佳答案
keep.task.files.pattern参数可用于保留中间文件。作业完成后,必须手动清理中间文件。因为,这是一个map/reduce任务属性,所以必须在配置文件中设置,然后重新打包jar文件。
关于logging - Hadoop MapReduce 中间输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7867608/