java - hadoop 日志中的 "complete event for unknown container id"是什么意思？

Question

我正在尝试对集群中的多个文件运行一个简单的作业(wordcount 示例)，但大多数 map 都失败了。当我引用任务日志时，我只看到这样的错误:

ERROR [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Container complete event for unknown container id container_1388066512888_0001_01_000026

有什么想法吗？

更新:我多次检查作业，有时由于 map 故障而失败，有时由于减少故障而在极少数情况下成功完成。但在任何情况下，唯一的错误就是上面的错误。

Answer 1

我遇到同样的错误:

ERROR [RMCommunicator Allocator] 

org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator:未知容器 ID container_1406174606649_0001_01_000154 的容器完成事件

可能与mapred-site.xml中的mapred.child.java.opts属性有关。

我是这样的:

<property>
   <name>mapred.child.java.opts</name>
   <value>
     -Xmx4096M
   </value>
 </property>

当我删除这个属性时，错误就消失了。