java - 使用 TableMapReduceUtil 和 MultipleOutputFormat 时在 Job 和 JobConf 之间挣扎

标签 java hadoop mapreduce

我正在尝试读取 HBase 表 TableMapReduceUtil 并将数据转储到 HDFS (不要问我为什么。这很奇怪,但没有任何其他选项)。因此,为了实现这一目标,我想通过reducer键来操作最终文件名(由reducer发出)。

在映射器方面,我能够按照默认顺序将 hbase rotryingws 转储到 HDFS。但是为了覆盖reducer输出文件格式(按键命名),我发现reducer的MultipleOutputFormat类(由于一些接口(interface)困惑,在0.20上不存在,请在某处读取),而旧的只需要就业 session 但是,如果我尝试使用旧的 JobConf 编写代码,我将无法使用 HBase 0.90 的 TableMapReduceUtil ,它只采用 Job

对 Hadoop/HBase 没有太多的了解。花了一些时间修改现有的 MRJOb。 看来我坚持我的方法。

版本 Hadoop-Core-0.20.;HBase 0.90.1

谢谢 潘卡杰

最佳答案

I am not able to Use HBase 0.90's TableMapReduceUtil which only takes Job class.

org.apache.hadoop.hbase.mapred.TableMapReduceUtilorg.apache.hadoop.hbase.mapreduce.TableMapReduceUtil类。第一个将采用 JobConf(旧 MR API),第二个将采用 Job(新 MR API)。使用适当的 TableMapReduceUtil 类。

关于java - 使用 TableMapReduceUtil 和 MultipleOutputFormat 时在 Job 和 JobConf 之间挣扎,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8870967/

相关文章:

java - 将数据从 JTable 导入到 Excel

java - 从一个 git 服务器获取并使用 Jenkins 推送到另一台服务器

hadoop - 名称节点和辅助名称节点未启动

perl - 为什么 Hadoop Streaming 找不到我的脚本?

python - 从CLI配置EMR Hadoop Yarn

Python:使用 yelps MRJOB 增加 EMR 中的超时值

java - toString方法ArrayList简单递归

java - 如何从 fabric 或 Jenkins 以编程方式下载 .apk 和 .ipa 文件?

hadoop - MapReduce 作业作为用户在/user/yarn/.staging 目录上获得权限错误运行

java - WordCount MapReduce 给出了意外的结果