hadoop - 将数据加载到Hive/Impala

Question

将增量数据加载到配置单元/黑斑羚表中的最佳方法是什么？

我按照以下步骤操作，但无法成功。

从MR程序中，输出已写入HDFS的temp文件夹中。

定义了一个指向临时文件夹(MR的输出文件夹)的外部临时表

从临时表向我的目标表添加了load语句。

在HDFS中删除临时表和临时文件夹。

当我依次运行oozie工作流程时，上述方法工作正常。当我同时调用多个作业时，它在加载数据时被挂起。

我无法按顺序运行数据加载。使它更有效的任何帮助，使我可以运行并行作业，这些作业将同时加载数据。

Answer 1

在我们的情况下，每次增量数据都会进入Hive表中的新分区。因此，在第3步(在上述步骤中)，我们只需向表中添加一个新分区即可。

如果有多个并行工作流，则如果每个工作流都将数据加载到新分区中，则应该可以正常工作。