hadoop - 我如何获得oozie发起的所有 yarn 工作的Jobid?

标签 hadoop oozie

我想显示由oozie工作流程产生的所有 yarn 作业的日志,以便进行 pig Action 。如何获取由oozie launcher启动的所有子作业的Jobid。一种方法是解析启动器的日志,但它可能包含重复的Jobid。有没有更简单的方法可以做到这一点?

最佳答案

您可以从Oozie DB中搜索Child作业ID,这取决于您使用的是哪个Oozie DB,可以是MySQL / postgre / Oracle。

在数据库的oozie数据库下,将有可用的表,例如“wf_actions”和“wf_jobs”,这些表将包含Oozie Child Job实例。同样,对于Oozie Parent Jobs,表需要像“coord_jobs”和“coord_actions”一样进行检查。

在wf_jobs中,您将获得所有ID的运行状态,已杀死状态,挂起状态。
搜索具有必需状态的ID。

希望这些可以帮助您完成查询。

关于hadoop - 我如何获得oozie发起的所有 yarn 工作的Jobid?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32121706/

相关文章:

apache-spark - 开发人员之间是否可以共享/访问hdfs?

c# - 奇怪的错误! HdInsight Hadoop MapReduce失败,代码为255

hadoop - 使用 Elasticsearch 实时分析事件日志

hadoop - Oozie不清除Oozie数据库中的旧作业

oozie - 如何在 oozie Web 控制台中按工作流 ID 和名称进行过滤?

hadoop - oozie工作流程的最大限制

hadoop - 典型的 Hadoop 架构和 MapR 架构之间的区别

hadoop - Oozie作业提交失败

xml - Oozie工作流程架构错误

hadoop - 在CDH5.01版本中找不到oozie-site.xml