java - 继续获取: Requested array size exceeds VM limit error

Question

我在这里看到了几个与接收 java 错误有关的线程:java.lang.OutOfMemoryError: Requested array size exceeds VM limit 但我已经尝试了这些建议，但没有一个对我有用。以下是我使用的脚本:

#!/bin/bash
#$ -cwd
#$ -N Sample_S06-9841_A4_primary
#$ -S /bin/bash
module load picard/1.130

java -Xmx12g -XX:MaxPermSize=8192m -XX:+UseCompressedOops -Djava.io.tmpdir=/mnt/work1/users/home2/loldfiel/tmp -jar $picard_dir/picard.jar AddOrReplaceReadGroups INPUT=/mnt/work1/users/roehrlgroup/GCT_2/star_aligner/final_alignment/Sample_S06-9841_A4_primary/Aligned.out.sam OUTPUT=./Sample_S06-9841_A4_primary/S06-9841_A4_primary_rg.bam SORT_ORDER=coordinate RGID=S06-9841_A4_primary RGLB=lib RGPL=Illumina RGPU=none RGSM=Sample_S06-9841_A4_primary

我尝试了各种不同的选项，例如将 -Xmx 参数增加到 20g 并删除 MaxPermSize 参数(我也尝试将其降低到 256m)。我在不使用 UseCompressedOops 参数的情况下运行它。

我之前运行过这个脚本(没有 MaxPermSize 和 UsedCompressedOops 参数)并且完全没有问题，所以我不确定为什么在这个示例中它不会运行。

有没有人对问题可能有任何其他想法？你认为我的 bam 文件有问题吗？

注意:我确实在输出目录中收到了一个文件，但它是空的。

谢谢，

张国荣

Answer 1

Java 中的数组受限于数组索引是 int 类型，并且索引必须为正数(以及数组大小)。

但是 VM 中可能存在限制，阻止使用大小为 Integer.MAX_VALUE ((2^31)-1) 的数组；确切的最大值似乎是特定于 VM 的实现。因此，当请求的数组长度为 Integer.MAX_VALUE 或非常接近它时，VM 可能会抛出您获得的异常。请注意，这无法通过为 VM 分配更多内存来解决，因为这是 VM 实现方式的限制。

更糟糕的是，据我所知，JDK 中没有任何常量/方法可以实际指示 VM 支持的实际最大数组大小；所以在这种情况下它的硬编码是安全的。

可能有一种方法可以防止程序通过更改其参数来尝试分配该大小的数组。最好的办法是直接从专门针对您的软件的供应商/帮助论坛寻求帮助。切换到不同的 VM(版本或供应商)也可能解决问题；如果另一个 VM 确实支持最大大小的数组。