hadoop - MapReduce MultipleOutputs输出控制台信息

标签 hadoop mapreduce

我在MapReduce进度中使用了MultopleOutputs解决了一些问题,完成后,控制台显示:

    File Input Format Counters 
    Bytes Read=0
    File Output Format Counters 
    Bytes Written=0

我想获取有关已读字节数和已写字节数的真实信息,如何获得真实信息?
谢谢!

最佳答案

实际上,完成工作后在屏幕上看到的是所有hadoop计数器的列表。

根据MultipleOutputs manual

MultipleOutputs supports counters, by default they are disable



因此,您需要做的就是使用
MultipleOutputs.setCountersEnabled(jobConf, true);

关于hadoop - MapReduce MultipleOutputs输出控制台信息,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34807969/

相关文章:

hadoop - 如何在hadoop中更改mapreduce的输出格式?

python - Google App Engine 数据存储到 BigQuery 进程的 UnicodeEncodeError

python - 在 spark(python)中通过 MapReduce 理解分组

xml - 将 XML 加载到 PIG : Error 2998

java - 无法通过 JAVA 连接到 HIVE2

hadoop - 从配置单元表中选择具有给定条件的重复项的记录

hadoop - NLineInputFormat 无效

hadoop - hbase伪分布式远程连接

azure - 域加入HdInsight集群hdfs用户权限

hadoop - 配置单元/DynamoDB 错误 "Could not find column mapping for column"