Hadoop Writable 接口(interface)依赖于“public void write(DataOutput out)” 方法。看起来在DataOutput接口(interface)的背后，Hadoop使用了DataOutputStream，它在底层使用了一个简单的数组。
当我尝试在我的 reducer 中的 DataOutput 中写入大量数据时，我得到:
Caused by: java.lang.OutOfMemoryError: Requested array size exceeds VM limit at java.util.Arrays.copyOf(Arrays.java:3230) at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:113) at java.io.ByteArrayOutputStream.ensureCapacity(ByteArrayOutputStream.java:93) at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:140) at java.io.DataOutputStream.write(DataOutputStream.java:107) at java.io.FilterOutputStream.write(FilterOutputStream.java:97)
看起来系统无法分配请求大小的连续数组。 显然，增加 reducer 可用的堆大小没有帮助 - 它已经达到 84GB (-Xmx84G)
如果我无法减小需要序列化的对象的大小(因为 reducer 通过组合对象数据来构造该对象)，我应该尝试如何解决这个问题？
最佳答案
我认为你应该使用 -Xms 例如-Xms40G 而不是 -Xmx84G
关于java - 如何在 Hadoop Writable 中序列化非常大的对象，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25442809/