hadoop - 查询如何在Hive中分发?

标签 hadoop hive hiveql

我对Hive查询执行有疑问。

假设我有一个查询:

select * from table where id > 5;



现在,此查询转换为树,然后拆分为较小的任务,并分配给具有该特定数据的数据节点。

现在,当查询被分发时,整个查询是否被分发到所有具有数据的节点?还是仅将查询的一部分发送到节点?

如果将整个查询发送到所有节点,则数据节点将仅处理查询的一部分还是整个查询?

如果是上述情况,那么processi的数据节点有什么用

最佳答案

Hive根据您提交的查询生成一个或多个MapReduce作业。然后,Hadoop JobTracker根据Hadoop用来分发MapReduce任务的算法来分发MapReduce任务。

希望这可以帮助。

关于hadoop - 查询如何在Hive中分发?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17525797/

相关文章:

sql - Hive 将无法识别查询中第二个条件中的列名

hadoop - 在RHadoop中运行 “hdfs.put()”时出错

python - 如何使用map reduce识别炎热的天气?

scala - 连接 hive 和spark时发生异常HDFS上的根暂存目录:/tmp/hive应该是可写的。当前权限是:rwxrwxr-x

php - 如何将Hive数据访问HTML页面

hadoop - 在 where 子句中使用 Hive tile 结果

logging - 如何在控制台上抑制 Hadoop 日志消息

Apache Falcon 无法提交集群定义

hadoop - 配置单元加载数据 :how to specify file column separator and dynamic partition columns?

hive - 在hive中创建日期表