java - 使用java程序合并hdfs中的文件

Question

我是大数据的新手，正在做一个小任务，我需要将多个文件合并到 hdfs 中的单个文件中。我正在使用 Java 程序来完成此操作(将所有类似于 prod* 的文件合并到一个 prod.txt 文件中)。我已经寻求帮助，到目前为止我编写的代码是:

公共(public)类合并文件{

public static void main(String[] args) throws FileNotFoundException {
    // TODO Auto-generated method stub

    String srcPath = "/user/demouser/first/prod*"; 
    String dstPath = "/user/demouser/second/prod.txt"; 
    Configuration conf = new Configuration(); 
    conf.set("fs.default.name","http://hostname:portnumber/");
    try 
    { 
        FileSystem hdfs = FileSystem.get(conf); 
        FileUtil.copyMerge(hdfs, new Path(srcPath), hdfs, new Path(dstPath), false, conf, null); 
        } 
    catch (IOException e) 
    { }

    }

}

它不起作用，我无法弄清楚如何解决这个问题。我也不明白“fs.default.name”的工作原理。请帮忙。

Answer 1

你需要一个真实的主机名和端口号来替换' http://hostname:portnumber/ '，您的主机名和端口号必须可以从您的计算机访问。它应该是您的文件系统的位置。