hadoop - 如何在hadoop中设计具有两个输入的Mapper

标签 hadoop

我必须实现两个 mapReduce 作业,Mapper_2 需要 Reducer_1 的输出。 Mapper_2 还需要另一个输入,即文本文件。如何使用这两个输入设计 mapper_2?换句话说,如何在 mapper_2 中定义两个输入参数作为 mapreduce 中上一个作业的输出和一个文本文件?

最佳答案

据我了解,问题是您需要两个具有相同映射器的输入路径。我对吗?如果是这样,您可以使用:

MultipleInputs.addInputPath(Job, TextInputPath, SomeInputFormat.class, Mapper_2.class);
MultipleInputs.addInputPath(Job, Ruducer_1OutputPath, SomeInputFormat.class, Mapper_2.class);

关于hadoop - 如何在hadoop中设计具有两个输入的Mapper,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18744723/

相关文章:

java - 相当于 mongo 的输出 :reduce option in hadoop

hadoop - 如何使用hbase将apache phoenix安装到ambari 1.7?

hadoop - Oozie - 无法识别 nameNode 的 "maprfs:///"

mysql - 按任何列/属性对大型数据集进行排序

python - 如何将数据从python快速发送到hadoop

Java:连接到 Hbase 0.94.1 时出现异常

Hadoop 独立 - hdfs 命令很慢

hadoop - 为什么分区+存储桶比从普通表查询花费更长的时间?

sql - 计算 SHOW TABLE EXTENDED 返回的结果集中的行

java - 错误 Livy Spark Server hue 3.9