hadoop - 删除 hadoop info streaming.PipeMapRed 和其他

标签 hadoop mapreduce

当我运行 hadoop 时,我得到了很多信息按摩。所以我要删除无用的,比如INFO streaming.PipeMapRed、INFO mapred.MapTask等。并保留最重要的——INFO mapreduce.Job。
那么该怎么做呢? enter image description here

最佳答案

org.apache.hadoop.mapred中有一个接口(interface)调用Reporter它提供报告进度和更新计数器、状态信息等。如果您可以访问代码,则可以消除 INFO使用 setStatus 报告重要信息方法。

关于hadoop - 删除 hadoop info streaming.PipeMapRed 和其他,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34575080/

相关文章:

java - 如何在同一输入上运行两个不同的映射器,并将其输出发送到单个reducer?

hadoop - pig View 未打开

hadoop - 使用 Apache 水槽进行排序

hadoop - mapreduce 的哪个部分/类是停止 reduce 任务的逻辑实现

java - 在 map reduce word count 程序中需要获取单词存在的文件

hadoop - hadoop mapreduce example 有时可以工作,有时会失败,这是怎么回事?

算法:是否有 map-reduce 方法通过删除所有子集来合并一组集合

java - 如何(在 Hadoop 中)将数据以正确的类型放入 map 和 reduce 函数中?

python - 无法理解 python 多处理

hadoop - Hadoop问题,尝试在hadoop上运行基本WordCount MapReduce