hadoop - 使用Hive进行表数据从一个Hadoop环境到另一个Hadoop环境的传输并使用oozie进行调度

标签 hadoop hive hiveql oozie oozie-workflow

我是Hadoop环境的新手。有人可以使用 hive 式查询将表数据从一个Hadoop环境(产品)转移到另一个Hadoop环境(开发),并使用oozie安排该查询。

代码示例是最赞赏的..在此先感谢。

最佳答案

将Hive表从一个群集复制到另一个群集时,您需要做两件事:

  • 复制实际的HDFS数据。
  • 复制Hive表元数据。

  • 如果省略了比较复杂的用例/注意事项(例如diff / copy),则可以相对轻松地完成这两个操作。还可以考虑看看https://nakedsecurity.sophos.com/2019/08/29/video-captures-glitching-mississippi-voting-machines-flipping-votes/

    关于hadoop - 使用Hive进行表数据从一个Hadoop环境到另一个Hadoop环境的传输并使用oozie进行调度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57703419/

    相关文章:

    hadoop - 如何使用接受多列作为参数的 java 为配置单元编写 UDAF?

    hadoop - Hortonworks的Cloudera Hue替代品

    date - Hive 日期/时间戳列

    hadoop - 我们如何使用 hive 获取 1000 个表的描述?

    hadoop - 在少数情况下,Hive insert overwrites 会截断表

    linux - HDFS单写入器多读取器模型-读取不一致?

    java - Reducer 在 mapper 完成之前启动

    amazon-web-services - 无法在AWS中使用Elephant-Bird和Hive对Protobuf(2.6.1)数据进行反序列化

    hadoop - 在配置单元中删除表命令

    hadoop - 表格上的配置单元分区