我有一个 oozie 用例,用于检查输入数据的可用性并根据数据的可用性触发 mapreduce 作业。 所以我写了一个 shell 脚本来检查输入数据,并在 oozie 中为它创建了一个 ssh 操作,
输入数据检查的重试次数和重试间隔应该是可配置的,并且在每次重试后如果数据仍然丢失我必须发送警报,在指定的重试次数后 mapreduce 作业可以从可用数据开始
我写了一个工作流程如下:
<start to="datacheck" />
<action name="datacheck">
<ssh xmlns="uri:oozie:ssh-action:0.1">
<host>${sshUserHost}</host>
<command>${Oozieutilsscript}</command>
</ssh>
<ok to="datacheckswitch" />
<error to="fail" />
</action>
<decision name="datacheckswitch">
<switch>
<case to="mapreduce">${(wf:actionData('datacheck')['datatransfer'] == "complete" )}</case>
<case to="retry">${(wf:actionData('datacheck')['datatransfer'] == "incomplete" )}</case>
<default to="fail" />
</switch>
</decision>
<action name="retry">
<ssh xmlns="uri:oozie:ssh-action:0.1">
<host>${sshUserHost}</host>
<command>${Oozieutilsscript1}</command>
</ssh>
<ok to="retryswitch" />
<error to="fail" />
</action>
<decision name="retryswitch">
<switch>
<case to="datacheck">${(wf:actionData('datacheck')['retry'] == "notfinished" )}</case>
<case to="datacheck">${(wf:actionData('datacheck')['retry'] == "finished" )}</case>
<default to="fail" />
</switch>
</decision>
<action name="mapreduce">
...............
</action>
<!--Kill and End portion-->
<kill name="fail">
<message>Java failed, error message[${wf:errorMessage(wf:lastErrorNode())}</message>
</kill>
<end name="end" />
只有当我执行工作流时,我才知道 oozie 不支持循环,因为它的工作流是 DAG。收到错误错误:E0707:E0707:在解析时检测到循环,节点 [datacheck] 在解析 workflow.xml 时
是否有任何不同的方法来处理这个用例?
感谢任何帮助。
最佳答案
关于hadoop - 处理 oozie 工作流中的循环,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17684647/