hadoop - 包含fork节点的Oozie Subworkflow挂起

标签 hadoop oozie

我有一个使用子工作流程节点的Oozie工作流程。子工作流包含操作节点,其中很少使用派生机制。在触发父工作流程时,可以看到 fork 前的所有作业/节点(来自子流)执行得很好,但 fork 内的节点仍处于PREP状态。更糟糕的是,我无法杀死该作业通过对工作流(父级和子级)都使用Oozie kill命令
Hadoop版本:CDH3u5
Oozie客户端构建版本:2.3.2-cdh3u5
我最好的猜测是,当Oozie遇到Subworkflow并在该工作流程中进行派生时,存在一个bug。请提出解决问题的方法。

最佳答案

要杀死oozie作业,请使用以下命令:

oozie job -kill ID

确保您的Hadoop中有足够的 map 位置。每个工作流程,子工作流程和派生分配一个 map 位。每个 Action 还分配至少一个映射时隙。您可能处于死锁状态。

关于hadoop - 包含fork节点的Oozie Subworkflow挂起,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18465061/

相关文章:

hadoop - 无法将窗口调用分解为组。错误 : org. apache.hadoop.hive.ql.parse

hadoop - 在Oozieworkflow.xml中无法识别SequenceFile输入格式?

hadoop - 杀死协调器后如何让 oozie 工作流运行?

hadoop - 通过oozie运行hive脚本脚本,但状态仅为RUNNING

java - 将减少的数据拆分为 Hadoop 中的输出和新输入

hadoop - Hive:Mapreduce 文件丢失

Hadoop:Datanode进程被杀死

hadoop - 我能否确保新的 Hadoop 任务将在输入文件中失败任务停止的位置恢复?

shell - 无法使用 getopts 将选项传递给 oozie shell 操作

hadoop - 每天重新运行 oozie 工作流