Java 应用程序在 Hadoop 集群中作为具有单个 Mapper 任务的 map-reduce 作业执行。如果一个 java mapreduce 作业(不是 hive 或任何其他作业只是一个直接的 mapreduce 作业)是 oozie 的一部分,我们会得到一个单独的 mapper 启动器并且实际的 mapreduce 作业独立运行。那么有没有办法将启动器和实际的 mapreduce 作业运行联系起来?像获取与启动器 jobid 一起运行的实际操作的 jobid?任何命令知道吗?
最佳答案
您可以转到 oozie UI 并获取此信息。单击您想要的操作,然后转到 Child Job URLs
选项卡。在那里您可以找到特定操作启动的所有子作业。
java
没有子 url 的 oozie 操作:
map-reduce
oozie 中带有子 urls 选项卡的操作:
对于 map-rdeuce 作业,您可以访问 Child Job URLs
选项卡并获取所有子 mapreduce 作业 url。
关于Java MapReduce 计数器 - Oozie,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34350953/