Java MapReduce 计数器 - Oozie

标签 java hadoop mapreduce bigdata oozie

Java 应用程序在 Hadoop 集群中作为具有单个 Mapper 任务的 map-reduce 作业执行。如果一个 java mapreduce 作业(不是 hive 或任何其他作业只是一个直接的 mapreduce 作业)是 oozie 的一部分,我们会得到一个单独的 mapper 启动器并且实际的 mapreduce 作业独立运行。那么有没有办法将启动器和实际的 mapreduce 作业运行联系起来?像获取与启动器 jobid 一起运行的实际操作的 jobid?任何命令知道吗?

最佳答案

您可以转到 oozie UI 并获取此信息。单击您想要的操作,然后转到 Child Job URLs 选项卡。在那里您可以找到特定操作启动的所有子作业。

java 没有子 url 的 oozie 操作:

enter image description here

map-reduce oozie 中带有子 urls 选项卡的操作:

enter image description here

对于 map-rdeuce 作业,您可以访问 Child Job URLs 选项卡并获取所有子 mapreduce 作业 url。

关于Java MapReduce 计数器 - Oozie,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34350953/

相关文章:

java - 如何解决预期的 org.apache.hadoop.io.Text,在 mapreduce 作业中收到 org.apache.hadoop.io.LongWritable

python - 在 EC2 上运行 mapreduce 作业时如何获取文件名?

java - 有条件的停止计时器仅在第一次有效?

hadoop - 澄清hadoop中的Map任务和reduce任务?

hadoop - PIG 自动连接默认HDFS,怎么样?

java - 使用 ArrayWritable 的序列化似乎以一种有趣的方式工作

python - 如何在 python 中从 HDFS sequencefile 加载数据

java - Hibernate,尝试访问孙子字段一对多关系

java - 组合框 CSS 代码

java - 当输入是字符串而不是 int 时如何发出错误消息