hadoop - 当多个查询需要从数据节点访问相同的数据时会发生什么?

标签 hadoop mapreduce

当我们同时触发多个查询并且 2 个查询需要访问相同的数据时。 Map Reduce 中发生了什么?

假设一个节点中只有 1 个数据副本,并且 2 个查询需要从同一数据节点访问数据。发生什么了?其中一个查询是在队列中等待还是同时处理?

最佳答案

查询会被同时处理,当一个队列到来时,会启动一个新的线程来处理,可以看源码here .

关于hadoop - 当多个查询需要从数据节点访问相同的数据时会发生什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17482143/

相关文章:

sql - 在Hive中使用CASE作为联接条件

date - HIVE 在最近的日期左连接

hadoop - 无法运行 hadoop 流作业 : Missing required options: input, 输出

hadoop - HiBench 基准套件错误 : INPUT_HDFS: unbound variable

hadoop - 使用 Ooize 时为 TableMapReduceUtil 重置 Kerberos 登录上下文

xml - 改变 mapred.reduce.tasks

hadoop - 如何按特定顺序对送往 reducer 的值进行排序

java - Hadoop Java 与 C/C++ 在 CPU 密集型任务上的对比

macos - nohup : can't detach from console: Inappropriate ioctl for device

hadoop - 如何计算 map 数量并减少设置需求?