hadoop - MapReduce卡住为99%

标签 hadoop mapreduce

我有一个非常简单的hadoop程序遇到了这个问题,该程序可以进行到还原阶段的99%,然后冻结。输入是一个非常精简的文件,大约50行文本,输出应该是非常简单的ID及其频率的键值对。

我已将mapred-site.xml中的内存分配增加到〜6Gig。

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx6024m</value>
</property>

我试图检查日志文件,但是它们都是空的,没有任何内容写入其中。请提出这可能是什么问题?

最佳答案

好的,所以当我开始使用较新的Job&Configuration类时,此问题已解决。直到现在,我一直在使用旧代码,这似乎会导致很多错误。所以我想我的建议是使用最新的hadoop库而不是不推荐使用的库。

令人遗憾的是,某些Hadoop书籍仍然使用遗留类和API进行教学。-不要使用它们!

关于hadoop - MapReduce卡住为99%,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19203817/

相关文章:

hadoop - 如何使用 mapreduce 从 hbase SequenceFile 中提取键值对?

asp.net-mvc - 将HDFS与Visual Studio 2013连接

mongodb - 版本 2 中 Mongoid Criteria 的 Map/Reduce 操作

hadoop - mapreduce 框架基于什么决定是否启动组合器

hadoop - 什么时候在 mapreduce 作业执行中分配 reducer 的数量/节点?

hadoop - 当映射器输出大部分排序时最小化随机播放

hadoop - Hive managed table drop 不会删除 HDFS 上的文件。任何解决方案?

hadoop - 你能在 PIG 中的多个关系之间建立立方体吗?

couchdb - 从 CouchDB View 中获取具有最大字段值的文档列表

Hadoop:没有这样的方法异常