hadoop - hdfs snapshot可以用来恢复hive吗

标签 hadoop hive snapshot

知道 hive 使用 metastore 和 hdfs,是否可以将从正在运行的 hadoop-hive 集群获取的 hdfs 快照恢复到新的 hadoop-hive 集群?

我认为必须执行的一个步骤是在 hive 中再次创建表,但是这些表会自动连接到快照文件吗?

有关此主题的一个链接位于 Apache Mail Archives .我希望对此是否有更新或更好的答案。

最佳答案

Hive 使用 2(元数据 + hdfs 中的仓库数据)

试一试:(没查过,请注意)

1) 使用dstcp将当前Hadoop-hive Cluster中的hive仓库数据复制到新的Hadoop-hive Cluster中

$ hadoop distcp hftp://old-custer:50070/user/hive/warehouse hdfs://new-Cluster/user/hive/warehouse

2) 假设您的元数据存储在 MySQL 中(不在默认的 derby 中),将您的新配置单元指向旧的元数据 mysql 服务器(在新集群的 hive-site.xml 中)。这样您就无需再次创建模式/表。

关于hadoop - hdfs snapshot可以用来恢复hive吗,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24294753/

相关文章:

apache-spark - Spark 作为 HDFS 的数据摄取/载入

java - Hive INSERT OVERWRITE显示错误

mysql - 根本原因 : java. lang.ClassNotFoundException : com. mysql.jdbc.Driver 使用 --verbose 获取详细的堆栈跟踪。

apache - 如何在不重新启动 oozie 作业的情况下重新加载 oozie 作业配置文件

hadoop - 带 ORDER BY 的 HIVE GROUP_CONCAT

azure - 如何将 Azure 仅 blob 存储帐户与 Azure Functions 结合使用 - 尝试创建 blob 快照

angularjs - 使用 Jest 在 Angular 1.x 上进行快照测试

ubuntu - Hadoop:java.net.UnknownHostException:hadoop-slave-2

SQL 用前一个非 NULL 行填充 NULL 行

r - 用于大型数据集的 sparklyr 中 copy_to 的替代方案