amazon-s3 - Hive外部表: what if the table is accessed during the underlying directory is being updated

标签 amazon-s3 hive hiveql

我正在使用 Hive 外部表,该表位于 S3 或 HDFS 中的文件夹之外。每天一次,该文件夹将使用新的文件集完全刷新,当发生这种情况时,我无法阻止其他人访问该表。这种情况很少见,因为更新时间是在非工作时间,但也有可能发生。

有没有办法在不中断的情况下处理此更新?我可以想到一个解决方案,交替两个 S3(或 HDFS)位置,并每次使用备用 S3 位置运行“创建外部表”命令,但我不确定是否有一个优雅的解决方案。

提前致谢!

最佳答案

不需要解决方法或处理,因为 hive 通过自动处理它。对于非分区表 读取表时,将获取 S(共享) 锁,而对于所有其他操作(插入表、更改任何类型的表等)。查询可能面临的是获取结果的轻微延迟,直到锁被释放。供引用:Hive Locking

关于amazon-s3 - Hive外部表: what if the table is accessed during the underlying directory is being updated,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37507095/

相关文章:

hadoop - 尝试从Hive创建Hbase表时出现NoClassDefFoundError(HBaseConfiguration)

hadoop - 在Hive中使用 “Collect_List()”函数时出错

hadoop - 如何在Hive脚本中将功能作为S3位置的输入

apache-spark - Hive 元存储中的上次访问时间更新

java - Hive Driver Connection 线上的 Hadoop 中的 ClassNotFoundException 引起的 NoClassDefFoundError?

hadoop - 启动 Hive 时出错 : java. lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf

SQL分区实现 "second_value"等

amazon-s3 - 使用神社上传视频文件并生成缩略图

Php - Amazon s3 如何检查我的连接是否成功

amazon-web-services - IOPS(在 Amazon EBS 中)在实践中意味着什么?