hadoop - OOZIE 中的多输入路径配置

Question

我正在尝试在 oozie 中配置 Mapreduce 作业。此作业有两种不同的输入格式和两个输入数据文件夹。我用了这个帖子How to configure oozie workflow for multi-input path with multiple mappers 并将这些属性添加到我的 workflow.xml 中:

        <property>
                <name>mapred.input.dir.formats</name>
                <value>folder/data/*;org.apache.hadoop.mapred.SequenceFileInputFormat\,data/*;org.apache.hadoop.mapred.TextInputFormat</value>
            </property>

            <property>
                <name>mapred.input.dir.mappers</name>
                <value>folder/data/*;....PublicMapper\,data/*;....PublicMapper</value>
            </property>

但是当作业启动时出现以下错误:“作业中未指定输入路径”。

有没有人可以帮助我？

感谢

Answer 1

您需要设置一些额外的属性:

<property>
  <name>mapreduce.inputformat.class</name>
  <value>org.apache.hadoop.mapreduce.lib.input.DelegatingInputFormat</value>
</property>
<property>
  <name>mapreduce.map.class</name>
  <value>org.apache.hadoop.mapreduce.lib.input.DelegatingMapper</value>
</property>