hadoop - 将配置单元查询结果从一个hadoop集群转移到另一个hadoop集群

标签 hadoop hive hiveql oozie distcp

我有两个群集A和B。群集A有5个表。现在我需要在这5个表上运行一个配置单元查询,查询的结果应该更新集群B的表数据(覆盖结果查询的所有列)

注意:在此过程中,我们不应在集群A上创建任何文件,但允许使用临时文件。

这可行吗?要实现此目标,两个集群之间需要什么权限/配置?

如何获得此任务/任何其他有效的选择?

完成此任务后,我应该自动使用Oozie ..

最佳答案

您是否为每个群集的元数据或配置单元表使用数据库?如果是,那么-如果您使用相同的数据库在两个群集中存储配置单元表,则可以共享它们。我知道这听起来很直观,但是只是提到了它,以防您不考虑它。

关于hadoop - 将配置单元查询结果从一个hadoop集群转移到另一个hadoop集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57816092/

相关文章:

hadoop - 如何将数据插入 Hive 中的复杂数据类型 "Struct"

hadoop - 无法通过 Hive 1.2 中的 alter table 恢复分区

apache-spark - 使用 Spark 和 HiveSQL 执行多个查询的问题

hadoop - 到端口10000的 hive 问题

oracle - Sqoop 增量导入和更新

hadoop - Hive 暂停和恢复任务

sql - Apache Hive 查询 HiveQL

hadoop - Hive sQL的欧氏距离

java - MapReduce 多个输出 : File Could Only Be Replicated to 0 Nodes, 而不是 1

hadoop - HDFS 名称节点高可用性