apache - reducer 失败

标签 apache hadoop mapreduce

我们正在使用3个集群计算机,并且mapreduce.tasktracker.reduce.tasks.maximum属性设置为9。当我设置的reducer数量不等于或小于9时,作业成功完成,但是如果我设置的reducer大于9,则失败了异常(exception)情况:“任务try_201701270751_0001_r_000000_0未能ping通TT 60秒。杀死!”。谁能指导我出现什么问题

最佳答案

hadoop -0.20中似乎存在一些错误。

https://issues.apache.org/jira/browse/MAPREDUCE-1905(仅供引用)。

您可以尝试增加任务超时时间吗?

(将mapreduce.task.timeout设置为更高的值)( 0将禁用超时)

关于apache - reducer 失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42484684/

相关文章:

java - 在 Java 应用程序中使用 Mahout

java - 使用 mapreduce : Java, Pig 解析 twitter json

java - Java Mapreduce 中的驱动程序类错误

apache - 为什么我的托管公司不支持 mod_deflate?

php - 如果渲染失败,人们能看到我的 PHP 代码吗?

PHP 5.3.2 和 Zend Framework session

django - 无法使用 Apache 和 mod_wsgi 使简单的 Django Web 应用程序正常工作

java - 本地运行的 Hive 包含 LZO 的 native 库

hadoop - PIG 和 HIVE 连接到运行大量 map 的 Datastax Cassandra

hadoop - Hadoop:jobclient在哪里工作?