我对Hive查询执行有疑问。
假设我有一个查询:
select * from table where id > 5;
现在,此查询转换为树,然后拆分为较小的任务,并分配给具有该特定数据的数据节点。
现在,当查询被分发时,整个查询是否被分发到所有具有数据的节点?还是仅将查询的一部分发送到节点?
如果将整个查询发送到所有节点,则数据节点将仅处理查询的一部分还是整个查询?
如果是上述情况,那么processi的数据节点有什么用
最佳答案
Hive根据您提交的查询生成一个或多个MapReduce作业。然后,Hadoop JobTracker根据Hadoop用来分发MapReduce任务的算法来分发MapReduce任务。
希望这可以帮助。
关于hadoop - 查询如何在Hive中分发?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17525797/