java - 如何从 Map-Reduce 中的多个目录读取多个文件

Question

我想在 Map-Reduce 程序中从多个目录读取多个文件。 我试图在 main 方法中给出文件名:

FileInputFormat.setInputPaths(conf,new Path("hdfs://localhost:54310/user/test/"));
FileInputFormat.setInputPaths(conf,new Path("hdfs://localhost:54310/Test/test1/"));

但它只读取一个文件。

读取多个文件应该怎么办？

请提出解决方案。

谢谢。

Answer 1

FileInputFormat#setInputPaths 将在覆盖之前设置的输入路径后设置输入路径。使用 FileInputFormat#addInputPath或 FileInputFormat#addInputPaths添加到现有路径。