创建HIVE表时,是否在Hadoop群集的所有节点上都创建了该表?当我将数据加载到表中时,是否会在所有这些节点之间复制数据?
我的猜测是肯定的吗?
最佳答案
Hive只是hdfs
之上的元数据层。因此,要回答您的问题,您只需要考虑hdfs
中复制的工作方式。
您关于“在每个节点上”的问题不是hdfs
复制如何工作的正确思维模型。 hdfs
复制对配置单元表一无所知。它只知道数据块。
配置单元表的每个数据块将有K个副本-其中k是为给定配置单元表配置的复制因子。数据块与特定节点的关联由hdfs的本地/机架/集群位置策略驱动。
关于hadoop - HIVE表是否在Hadoop集群的所有节点之间重复,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32573307/