java - 不使用 sudo 将文件从 HDFS 复制到本地系统

Question

我想复制 part-r-00000 文件的内容，我尝试了下面的代码，但它显示权限被拒绝。我知道这可以使用 sudo 从终端完成。有没有办法使用java程序来做到这一点。需要帮助

config.set("fs.default.name","hdfs://127.0.0.1:54310/");
FileSystem hdFS = FileSystem.get(config);
Path local = new Path("/home/abc/cloud");
Path hdfs = new Path("/home/hduser/all_output/Phase4_OutPut");
if (hdFS.exists(hdfs))
    hdFS.copyToLocalFile(false,new Path(finalP+"/part-r-00000"), local);
else
    System.out.println("NOT COPIED");

Answer 1

检查您是否具有访问文件

所需的权限

您可以使用 hadoop native 命令来 copyToLocal

Hadoop fs -copyToLocal/hdfslocation/local
或者

Hadoop fs -get/souce/hdfslocation/local