如何在不使用distcp
命令的情况下将配置单元数据从一个Hadoop群集移动到另一个Hadoop群集。由于我们无法使用此功能。我们还有其他选择吗,例如Sqoop或Flume?
最佳答案
distcp 是将大量数据从一个hadoop集群移动到另一个hadoop集群的有效方法。
Sqoop和Flume无法用于将数据从一个hadoop集群传输到另一个集群。 Sqoop主要用于在hadoop和关系数据库之间移动数据,而Flume用于将流数据摄取到Hadoop。
您的另一个选择是使用:
像Kafka这样的
hadoop fs
shell命令(例如cp
或get
),然后使用put
仅供引用,在谈论Hive数据时,还应该考虑使Hive元数据(元存储)在群集之间保持同步。
关于hadoop - 在不使用distcp命令的情况下将配置单元数据从一个Hadoop群集移动到另一个群集?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33096101/