java - 如何通过网络将数据从一个HDFS集群迁移到另一个集群?

标签 java hadoop hdfs

为了将数据从一个(小型)HDFS群集可靠地迁移到另一个完全独立的安装中,我有什么选择?

我在群集之间有网络连接(此问题不是duplicate)

最佳答案

您可以使用Hadoop中可用的distcp命令来执行此操作。

检查以下链接以了解更多信息

DistCp

示例

hadoop distcp hdfs://nn1:8020/foo/a hdfs://nn1:8020/foo/b

关于java - 如何通过网络将数据从一个HDFS集群迁移到另一个集群?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30756280/

相关文章:

java - 如何将文本设置为 ListView 中的多个选定项目

java - 无法在 Amazon EMR 集群上使用 PIG 0.12.0 和 Hadoop 2.4.0 找到 MySql 驱动程序

python - 使用子进程输出到 HDFS 中的文件

hadoop - Apache Hive 安装在伪分布式或多节点集群环境

java - 对字母和数字的数组列表进行排序

java - Android Wear修改 "Open on Phone"按钮intent

java - 在hadoop多节点集群中执行jar文件时出错

python - 从 CPython 中一次处理来自 hdfs 文件的数据的最佳方法(不使用标准输入)?

hadoop - 通过 hdfs API 将文件上传到 hdfs 会导致文件被附加并预先加上签名

java - 在Java中从结构化原始文件创建json文件的最简单方法?