java - 如何使用 Java API 将文件从一个 HDFS 文件夹复制到另一个 HDFS 文件夹?

标签 java hadoop

使用 HDFS java API,我可以重命名(移动)HDFS 中的文件。有没有办法复制文件?我对 distcp 不感兴趣,我打算复制一个文件。

最佳答案

根据 documentation页面,你可以使用 org.apache.hadoop.fs.FileUtil API

public static boolean copy(FileSystem srcFS,
           Path src,
           FileSystem dstFS,
           Path dst,
           boolean deleteSource,
           boolean overwrite,
           Configuration conf)
                    throws IOException

Copy files between FileSystems.

您可以通过以下 API 获取文件系统

final FileSystem fs = FileSystem.get(conf);

并在 api 之上传递 ti

关于java - 如何使用 Java API 将文件从一个 HDFS 文件夹复制到另一个 HDFS 文件夹?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35806830/

相关文章:

java - Crudrepository 如何找到最后一个日期之间?

java - 如何在折线图中的标记 View 上显示 X 标签?

java - 使用 RESTful Web 服务 : Controller Springboot error

java - 如何将 Pentaho 6.0 连接到 Hadoop-Hive

performance - Hadoop 版本 1 与版本 2 性能对比

sql - Hive 划分同一列的数字

java - 在映射器中运行 hdfs -text 命令并使用输出

java - 来自 ExecutorService 的 CompletableFuture

scala - Intellij Idea - 运行 Spark 应用程序时禁用信息消息

python - 使用Python将多阶段作业的HIVE刷新错误转换为stderr