hadoop - 为单个 MapReduce 作业指定 'mapreduce.jobtracker.hosts.filename'

标签 hadoop mapreduce

集群中添加了一些节点。我的 M/R 作业在其中任何一个上执行时都失败了。确切原因尚不清楚,需要几天时间才能找到解决方案,因此我正在寻找临时解决方法。

有没有办法在作业级别排除这些节点(mapreduce.jobtracker.hosts.exclude.filename)?
或者将旧的工作节点列入白名单 (mapreduce.jobtracker.hosts.filename)?

最佳答案

您可以将以下属性设置为 2

<property>
<name>mapred.max.tracker.failures</name>
<value>2</value>
</property>

并且它将在这些节点上使作业 2 失败两次并在其他地方继续

关于hadoop - 为单个 MapReduce 作业指定 'mapreduce.jobtracker.hosts.filename',我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45012772/

相关文章:

Swift 4.2 改进算法中的 "O"成本

hadoop - 使用CqlStorageHandler进行Hive和Cassandra集成

java - Hadoop Docker设置-WordCount教程

hadoop - hadoop 映射操作如何管理 HDFS 集群上的数据冗余?

mysql - Sqoop 导出到 MySQL 导出作业失败工具.ExportTool 但得到记录

hadoop - 在 map-reduce 输出中重复 "keys"?

hadoop - 控制 MultipleOutputFormat 文件子路径

java - 在非集群计算机上编译Hadoop MapReduce并在Hadoop集群上运行

java - 我如何学习使用 Java commons-collections?

java - 使用 oozie 为 mapreduce 作业写入多个输出流的正确方法是什么?