hadoop - 在Oozie Workflow中使用HBase表快照

Question

我正在尝试在oozie上运行MapReduce作业，该作业将HBase表快照作为其输入。目前，我可以使用org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil(不使用oozie工作流)来做到这一点，它为我提供了initTableSnapshotMapperJob()方法。

oozie中是否有类似的选项，我可以在其中指定HBase SNAPSHOT作为 map 缩小作业的输入。如果不是，还有哪些其他选择？

Answer 1

您可以为此使用Uber jar。 Oozie允许直接调度uber jar，而无需配置Mapper和Reducer:

<action name="mr-node">
    <map-reduce>
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>oozie.mapreduce.uber.jar</name>
                <value>${nameNode}/user/${wf:user()}/my-uber-jar.jar</value>
            </property>
        </configuration>
    </map-reduce>
    <ok to="end"/>
    <error to="fail"/>
</action> 

在执行此操作之前，请确保在 oozie-site.xml ozt_rstrong中将 oozie.action.mapreduce.uber.jar.enable 属性设置为true。