hadoop - 如何安全更新配置单元外部表

Question

我有一个外部配置单元表，我想每天刷新数据文件。推荐的方法是什么？

如果我只是覆盖文件，并且如果我们很不幸无法针对此表并行执行其他一些配置单元查询，那么这些查询将如何处理？他们会失败吗？否则我的HDFS操作会失败吗？还是会阻塞直到查询完成？

Answer 1

如果可用性是一个问题，而空间不是问题，则可以执行以下操作:

作为外部表的同义词。确保访问表时所有查询都使用此同义词。

加载新数据时，请使用其他名称将其加载到新表中。

加载完成后，将同义词指向新加载的表。

经过一段适当的时间(足够长以使任何正在运行的查询完成)之后，删除上一个表。