集群中添加了一些节点。我的 M/R 作业在其中任何一个上执行时都失败了。确切原因尚不清楚,需要几天时间才能找到解决方案,因此我正在寻找临时解决方法。
有没有办法在作业级别排除这些节点(mapreduce.jobtracker.hosts.exclude.filename
)?
或者将旧的工作节点列入白名单 (mapreduce.jobtracker.hosts.filename
)?
最佳答案
您可以将以下属性设置为 2
<property>
<name>mapred.max.tracker.failures</name>
<value>2</value>
</property>
并且它将在这些节点上使作业 2 失败两次并在其他地方继续
关于hadoop - 为单个 MapReduce 作业指定 'mapreduce.jobtracker.hosts.filename',我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45012772/