我有一个非常简单的hadoop程序遇到了这个问题,该程序可以进行到还原阶段的99%,然后冻结。输入是一个非常精简的文件,大约50行文本,输出应该是非常简单的ID及其频率的键值对。
我已将mapred-site.xml中的内存分配增加到〜6Gig。
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx6024m</value>
</property>
我试图检查日志文件,但是它们都是空的,没有任何内容写入其中。请提出这可能是什么问题?
最佳答案
好的,所以当我开始使用较新的Job&Configuration类时,此问题已解决。直到现在,我一直在使用旧代码,这似乎会导致很多错误。所以我想我的建议是使用最新的hadoop库而不是不推荐使用的库。
令人遗憾的是,某些Hadoop书籍仍然使用遗留类和API进行教学。-不要使用它们!
关于hadoop - MapReduce卡住为99%,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19203817/