我正在运行一个 hadoop 流式 mapreduce 作业，它总共有 26895 个映射任务。但是，处理特定输入的任务总是失败。所以我设置了mapreduce.map.failures.maxpercent=1，想跳过失败的任务，但是作业还是没有成功。
Kind % Complete Num Tasks Pending Running Complete Killed Failed/Killed Task Attempts
map 100.00% 26895 0 0 26894 1 8 / 44
reduce 100.00% 1 0 0 0 1 0 / 1
我怎样才能跳过这个？
最佳答案
同样有一个配置可用。 在 mapred-site.xml 中指定 mapred.max.map.failures.percent 和 mapred.max.reduce.failures.percent 以指定失败阈值。两者都设置为 0。
这些属性现已弃用，为此目的使用以下属性
mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent
关于hadoop - 如何在 hadoop 流中跳过失败的 map task ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28731304/