我必须实现两个 mapReduce 作业,Mapper_2 需要 Reducer_1 的输出。 Mapper_2 还需要另一个输入,即文本文件。如何使用这两个输入设计 mapper_2?换句话说,如何在 mapper_2 中定义两个输入参数作为 mapreduce 中上一个作业的输出和一个文本文件?
最佳答案
据我了解,问题是您需要两个具有相同映射器的输入路径。我对吗?如果是这样,您可以使用:
MultipleInputs.addInputPath(Job, TextInputPath, SomeInputFormat.class, Mapper_2.class);
MultipleInputs.addInputPath(Job, Ruducer_1OutputPath, SomeInputFormat.class, Mapper_2.class);
关于hadoop - 如何在hadoop中设计具有两个输入的Mapper,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18744723/