hadoop - 如何使用一个 reducer 的输出作为另一个映射器的输入？

Question

我想从 reducer 的输出中提取不同的值。为此，我在单独的映射器和 reducer 中编写代码。也就是说，我有一个用于生成训练文件的映射器缩减器，第二个映射器缩减器提供训练文件中的不同行。我想要这两个文件用于测试目的。那么如何使用第一个reducer的输出到另一个mapper作为输入呢？

Answer 1

您可以轻松做到这一点:只需将第一个作业的输出目录作为第二个作业的输入目录即可。在本例中我将其称为 outputTempDir:

String inputDir = "/input";
String outputTempDir = "/output/Temp"
String outputFinalDir = "/output/Final"

Configuration conf = new Configuration();
Job job1 = Job.getInstance(conf, "JOB_1");
job1.setMapperClass(Mapper1.class);
job1.setReducerClass(Reducer1.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
FileInputFormat.addInputPath(job1, new Path(inputDir));
FileOutputFormat.setOutputPath(job1, new Path(outputTempDir));

boolean success = job1.waitForCompletion(true);
if (success) {
    Job job2 = Job.getInstance(conf, "JOB_2");
    job2.setMapperClass(Mapper2.class);
    job2.setReducerClass(Reducer2.class);
    job2.setInputFormatClass(KeyValueTextInputFormat.class);
    FileInputFormat.addInputPath(job2, new Path(outputTempDir));
    FileOutputFormat.setOutputPath(job2, new Path(outputFinalDir));
    success = job2.waitForCompletion(true);
}

return success;

确保第一个作业的输出格式与第二个作业的输入格式兼容。