java - 为什么身份映射器会出现内存不足的情况?

标签 java hadoop out-of-memory amazon-emr

在仅缩减 Hadoop 作业中,输入文件由身份映射器处理,并在不进行修改的情况下发送到缩减程序。在我的一些工作中,我非常惊讶地发现该工作在映射阶段失败,并出现“内存不足错误”和“超出 GC 开销限制”。

根据我的理解,身份映射器上的内存泄漏是不可能的。 造成此类错误的原因是什么?

最佳答案

经过几个小时的研究和反复试验,我意识到我为任务组配置的机器是小型实例,没有太多内存,更有趣的是,我耗尽内存的时间点是在洗牌期间映射。

关于java - 为什么身份映射器会出现内存不足的情况?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12302708/

相关文章:

java - 查询行为改变对设计的影响——OOP范式

java - 有没有更快的方法来初始化 BigQuery 客户端?

java - 为什么最新版本的 apache-cassandra-X.X.X.jar 中没有 CqlStorage 类

hadoop - Sqoop 导入空字符串

c# - 如何调试突然终止而没有任何反馈的应用程序?

java - 在 Eclipse 插件中使用 Java3D

java - 编写返回质因数数组的函数

hadoop - 通过 hdfs API 将文件上传到 hdfs 会导致文件被附加并预先加上签名

java - 上传大文件时出现OOM

java - 如何用eclipse分析MAT