java - 如何通过 API 访问 Hadoop 计数器值？

Question

在 Hadoop 中，我们可以在 map/reduce 任务中增加计数器，它看起来像这样:

...
context.getCounter(MyCountersEnum.SomeCounter).increment(1);
...

你可以在日志中找到它们的值。

作业完成后如何通过代码访问它们？

什么是读取计数器值的 Hadoop API？

Answer 1

计数器代表全局计数器，由 Map-Reduce 框架或应用程序定义。

每个计数器可以是任何枚举类型。 您可以在 Driver 类中将计数器定义为枚举

static enum UpdateCount{
  CNT
 }

然后在 map/reduce 任务中递增计数器

public class CntReducer extends Reducer<IntWritable, Text, IntWritable, Text>{
 public void reduce(IntWritable key,Iterable<Text> values,Context context)  {
      //do something
      context.getCounter(UpdateCount.CNT).increment(1);
 }
}

并在 Driver 类中访问它们

public int run(String[] args) throws Exception {
 .
 .
 .
 job.setInputFormatClass(TextInputFormat.class);
 job.setOutputFormatClass(TextOutputFormat.class);
 FileInputFormat.setInputPaths(job,in );
 FileOutputFormat.setOutputPath(job, out);
 job.waitForCompletion(true);
 c = job.getCounters().findCounter(UpdateCount.CNT).getValue();
 //Print "c"
 }
}

c 给出计数器值。

你可以找到一个例子here