java - 如何在eclipse中关闭hadoop源代码中的推测执行

标签 java eclipse hadoop hadoop2

我需要在hadoop源代码中将其关闭,但在eclipse中找不到它的包。 https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapreduce/Job.html#setReduceSpeculativeExecution%28boolean%29

最佳答案

如果您想禁用推测执行,请在 mapred-site.xml 中添加这些属性。

<property>
   <name>mapreduce.map.speculative</name>
   <value>false</value>
</property>
<property>
   <name>mapreduce.reduce.speculative</name>
   <value>false</value>
</property>

或者在作业级别,设置驱动程序类中的属性。

Configuration conf = new Configuration();
conf.set(“mapreduce.map.speculative”,false);
conf.set(“mapreduce.reduce.speculative”,false);

有关其源代码,请参阅:hadoop-mapreduce-project , JobJobConf

关于java - 如何在eclipse中关闭hadoop源代码中的推测执行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43454735/

相关文章:

java - 从集群中获取现有的 mapreduce 作业(作业可能正在运行或已完成)

hadoop - hadoop、mahout、CDH版本匹配

java - 使用quartz调度程序时如何处理JavaFX应用程序的应用程序关闭?

java - 为什么 Android 版 FaceDetectionListener 无法检测到眼睛坐标

java.lang.IllegalArgumentException : setAttribute: Non-serializable attribute with name

java - jar 未启动 - UnsatisfiedLinkError

org.eclipse.jdt.internal.compiler.codegen.CodeStream.newArray 处的 java.lang.NullPointerException

eclipse - Eclipse 是否使用自己的发行版发布 ant?

java - Eclipse - 如何在不单击/更改主视图的情况下知道我在哪个工作区工作

join - 将MapReduce结果与数据结合