java - Apache hadoop map reduce task 卡住

Question

在我设置好 hadoop 多节点集群后，我确实运行了著名的 wordcount map reduce 示例。但是我没有得到任何输出，而是卡住了任务。这是我得到的..

12/09/12 13:01:29 INFO input.FileInputFormat: Total input paths to process : 3
12/09/12 13:01:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/09/12 13:01:29 WARN snappy.LoadSnappy: Snappy native library not loaded
12/09/12 13:01:30 INFO mapred.JobClient: Running job: job_201209121300_0002
12/09/12 13:01:31 INFO mapred.JobClient:  map 0% reduce 0%
12/09/12 13:01:45 INFO mapred.JobClient:  map 33% reduce 0%
12/09/12 13:01:48 INFO mapred.JobClient:  map 100% reduce 0%
12/09/12 13:01:54 INFO mapred.JobClient:  map 100% reduce 11%

但是master和slave的日志都没有异常。但是在 slaves task tracker 中，后续日志不断打印。

2012-09-12 13:23:14,573 INFO org.apache.hadoop.mapred.TaskTracker:     attempt_201209121300_0002_r_000000_0 0.11111112% reduce > copy (1 of 3 at 0.04 MB/s) >

在此之前我配置了hadoop单节点，运行上面的任务，我得到了成功的输出。

附: 1.我有两个节点，分别作为主从。两个 ip 地址都在两个节点的/etc/hosts 中。
2.可以不用密码ssh到每个master和slave。 (无密码登录)
3.我在master上运行start-dfs.sh后它也在slave机器上运行(我用jps检查过)
4. 这是我遵循的教程。 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/
5.两台机器都禁用了防火墙。

我该如何解决这个问题？

Answer 1

我终于成功了。这是我所做的。我在运行 map reduce 作业时检查了错误的日志。 hadoop 的每个作业都会生成一些位于 logs/userlogs/job_id/* 中的作业日志。因此，当我检查这些日志时，我终于可以看到一些称为 UnknownHostException 的异常。所以我发现了我的问题。将带有 ipadress 的从属计算机名称添加到我的主人/etc/host 并重新启动 hadoop map reduce 作业。
我们可以在 UI 中查看上面的作业日志
1.首先转到jobtracker.jsp
2.点击职位
3.你可以看到现在正在运行的是什么，或者点击 map 或减少并检查日志。