hadoop - Hadoop任务未完成-如何调试？

Question

我有一个3节点Hadoop集群。我运行了一个mapreduce作业-两个节点(名称节点和一个datanode)上的映射器正常完成-但datanode2上的映射器启动，但大约半小时后超时。由于这些事实，这很奇怪:

其他两个节点上的同类映射器需要1-2分钟才能完成

所有三个节点都使用相同的硬件

datanode2上的映射器占用CPU的接近100％，因此它们实际上正在运行。

知道是什么原因或如何调试的吗？

Answer 1

根据Hadoop架构，您可以检查DN-2的DataNode日志，以及DN-2的CPU利用率是否为100％(请确保您的程序无法在DN-2中使用)。