hadoop - Hadoop的基本认识

Question

如何在hadoop中设置推测执行？ 我们需要在哪些配置文件中进行这些更改？请详细说明。

推测执行更改应该在名称节点还是数据节点中进行？如果在数据节点中，我们可以将它们设置为特定系统，例如(我的集群中有 1-10 个系统，我只为 2,3 个数据节点系统设置推测执行)

Answer 1

推测执行在 Hadoop 中默认开启。

要启用/禁用推测执行，请在 mapred-site.xml 中修改这些属性

<property>
   <name>mapreduce.map.speculative</name>
   <value>true</value>
</property>
<property>
   <name>mapreduce.reduce.speculative</name>
   <value>true</value>
</property>

这是一个集群范围的属性，也可以在作业级别设置。

if in Data node can we set them to the particular systems

不，可以限制作业运行推测任务而不是节点。