hadoop - 将整个 HDFS 从一个集群转移到另一个集群

Question

我在具有 5 个节点的测试集群上的 HDFS 中存储了很多配置单元表。数据应约为 70 Gb * 3(复制)。不，我想将整个设置转移到具有更多节点的不同环境。两个集群之间的网络连接是不可能的。

问题是我没有太多时间使用新集群，也没有可能使用其他测试环境测试传输。因此我需要一个可靠的计划。 :)

我有哪些选择？

如何在新集群上以最少的配置工作转移配置单元设置？

是否可以只将 5 个节点的 hdfs 目录复制到新集群的 5 个节点，然后将其余节点添加到新集群并启动平衡器？

Answer 1

没有网络连接，这将很棘手!

我愿意

1. 将文件从 HDFS 复制到某种可移动存储设备(USB 内存棒、外部 HDD 等)
2. 将存储移动到新集群
3. 将文件复制回 HDFS

请注意，这不会保留文件创建/上次访问时间等元数据，更重要的是，不会保留所有权和权限。

这个过程的小规模测试应该非常简单。

如果您可以获得(即使是暂时的)两个集群之间的网络连接，那么 distcp 将是可行的方法。它使用 map reduce 来并行传输，可能会节省大量时间。