hadoop - 将目录从一个Hadoop集群递归复制到另一个

标签 hadoop copy hdfs cluster-computing mirror

如何在Hadoop HDFS中将目录从cluster1递归复制到cluster2?我想要的结果是一个目录结构,该目录结构已映射了数据。

最佳答案

使用内置工具distcp:

bash $ hadoop distcp hdfs:// nn1:8020 / foo / bar \ hdfs:// nn2:8020 / bar / foo

请参阅此处的文档:Distcp tool

关于hadoop - 将目录从一个Hadoop集群递归复制到另一个,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58617355/

相关文章:

hadoop - 如何在分布式缓存中使用 MapReduce 输出

Hadoop 警告消息 : 'execstack -c <libfile>' , 或将其与 '-z noexecstack' 链接

Hadoop distcp 错误

oracle - 通过 map 搜索数据可减少编程

java - Hadoop 配置对象未指向 hdfs 文件系统

hadoop - 是否有可能知道当前正在使用 map 功能的输入数据 block 的序列号?

datetime - hive :在 “yyyy-MM-dd' T'HH:mm:ss.SSS'Z'中转换缺少日期的字符串日期时间

python - 制作全局变量的本地副本

javascript - 为什么剪切、复制、粘贴在 Mozilla Firefox 和 Google Chrome 浏览器中不起作用?

eclipse - 如何在 Eclipse 中的工作区之间复制用户库