在仅缩减 Hadoop 作业中,输入文件由身份映射器处理,并在不进行修改的情况下发送到缩减程序。在我的一些工作中,我非常惊讶地发现该工作在映射阶段失败,并出现“内存不足错误”和“超出 GC 开销限制”。
根据我的理解,身份映射器上的内存泄漏是不可能的。 造成此类错误的原因是什么?
最佳答案
经过几个小时的研究和反复试验,我意识到我为任务组配置的机器是小型实例,没有太多内存,更有趣的是,我耗尽内存的时间点是在洗牌期间映射。
关于java - 为什么身份映射器会出现内存不足的情况?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12302708/