hadoop - Hadoop Oozie MapReduce操作自定义分区程序

标签 hadoop mapreduce oozie partitioner oozie-workflow

如何在oozie工作流XML上为MapReduce Action配置自定义分区程序?我尝试使用:

<property>
    <name>mapreduce.job.partitioner.class</name>
    <value>com.package.MyPartitioner</value>
</property>
<property>
    <name>mapreduce.partitioner.class</name>
    <value>com.package.MyPartitioner</value>
</property>

最佳答案

以下是用于为mapreduce新api指定分区器类的配置。

<property>
   <name>mapreduce.partitioner.class</name>
   <value>test.hadoop.apps.log.LogPartitioner</value>
</property>

关于hadoop - Hadoop Oozie MapReduce操作自定义分区程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45463434/

相关文章:

hadoop - Hadoop 上的代理框架

java - 空指针异常 - Hadoop Mapreduce 作业

hadoop - 在阶段1和2之间运行未MapReduced的任务

file - 我可以在 hdfs (hadoop) 中复制数据吗

linux - 时区说明 - LINUX env

hadoop - Apache Oozie 加载 ShareLib 失败

graph - 以hadoop为数据源创建图的常用工具有哪些

java - 尝试使用 spark shell 计算托管在本地 HDFS 上的文件中的行数时出现 HadoopRDD 错误

hadoop - Hadoop Pig-优化字数

hadoop - 通过 oozie 进行 Sqoop 作业