java - map 变为 100% 然后下降到 0%？

Question

我是 MR 的新人，但这似乎不应该发生。这是输出:

 11/12/07 13:24:42 INFO mapred.JobClient: Running job: job_201112071322_0001
 11/12/07 13:24:43 INFO mapred.JobClient:  map 0% reduce 0%
 11/12/07 13:24:57 INFO mapred.JobClient:  map 100% reduce 0%
 11/12/07 13:41:48 INFO mapred.JobClient:  map 100% reduce 16%
 11/12/07 13:42:18 INFO mapred.JobClient:  map 100% reduce 33%
 11/12/07 13:59:53 INFO mapred.JobClient:  map 100% reduce 0%
 11/12/07 14:00:04 INFO mapred.JobClient:  map 50% reduce 0%
 11/12/07 14:00:24 INFO mapred.JobClient:  map 0% reduce 0%

注意时间。它也只是坐在那里，没有完成，也没有出错。我想错误会在 reducer 中，所以我把它包括在内；如果其他代码是可疑的，我会发布它，只问。

代码:http://pastebin.com/uuL1Cgx4

非常感谢任何帮助!

Answer 1

几天前我遇到了类似的问题。达到 100% 后，我的映射器将降至 0%。

最后我发现map输出和reduce输入的数据类型定义是不同的。因此 map 和 reduce 之间的复制/洗牌/合并数据流选项将不起作用，即使 hadoop JobTracker 重试也是如此。

希望对你有用。