hadoop - Hive 中的外部表

标签 hadoop hive hdfs external-tables apache-hive

  1. 我使用 R 脚本在 HDFS 中添加了一个 CSV 文件。

  2. 我用新的 CSV 更新此 CSV/向其追加数据

  3. 在此 CSV 上使用 Hive 中的色调创建表。

  4. 将其更改为外部表。

现在,如果 hdfs 位置的数据发生变化,hive 表中的数据会自动更新吗?

最佳答案

这就是 Hive 中外部(以及托管)表的问题。它们不是真正的 table 。您可以将它们视为指向 HDFS 位置的链接。因此,每当您查询外部表时,Hive 都会从您创建此表时选择的位置读取所有数据。

来自 Hive 文档:

An EXTERNAL table points to any HDFS location for its storage, rather than being stored in a folder specified by the configuration property hive.metastore.warehouse.dir.

关于hadoop - Hive 中的外部表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37655239/

相关文章:

java - apache spark 与 kafka 和 hive 集成的 Spark 流

hadoop - HDFS 在我的单节点实验性本地设置中损坏了名称节点

hadoop - 当我运行WordCount示例时,输出文件夹不包含任何输出

hadoop - sqoop导入成功,但配置单元显示表看不到表

java - HDFS API - 计算目录、文件和字节数

java - 使用代理将第 3 方类扩展为 Hadoop Writable

hadoop - 运行 NiFi 所需的 Hadoop 配置是什么?

hadoop - Apache Pig组/展平/加入

hadoop - pig 帮 : How can I add a fixed field that is not defined in the schema

hadoop - 当配置单元加载数据本地 inpath 时,由于文件名导致路径无效