java - 相同的程序,相同的 JVM,但在不同机器上的内存需求和执行时间却大不相同——为什么?

标签 java jvm out-of-memory heap-memory execution-time

我正在尝试运行 NetLogo (java 模拟框架)作为大型实验的一部分在集群上进行模拟。我对(相对)简单的模拟看似巨大的内存需求感到惊讶。在集群上,它会抛出“java.lang.OutOfMemoryError:Java heap space”对于任何小于“-Xmx2500M”堆大小的异常。一次执行需要运行 5 个小时。我在我的两台 Mac(iMac 和 MacBook Pro)上运行了相同的实验,它们在不到一小时内执行,“-Xmx1024”没有给出任何错误。集群作业需要“-XX:MaxPermSize=250M”,而在我的 Mac 上不需要增加到默认值以上。我运行相同的代码,相同的输入,在所有情况下都使用完全相同的 jar 。

每种情况下都使用 64 位 JVM(据我所知,它们非常相似):

<on the cluster>
$ java -version
java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) 64-Bit Server VM (build 20.1-b02, mixed mode)

<on my macs>
$ java -version
java version "1.6.0_31"
Java(TM) SE Runtime Environment (build 1.6.0_31-b04-415-10M3646)
Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01-415, mixed mode)

而且我在所有情况下都运行客户端 JVM(最初在集群上使用服务器,切换到客户端没有任何区别)。我曾尝试使用 Java 7 在集群上执行,同样存在巨大的内存和执行时间问题。

我完全感到困惑,没有人能解释这一点。有没有人在那里遇到过这个?非常感谢任何帮助!

最佳答案

我怀疑其中一个具有更快的网络或磁盘 IO。如果您使用队列写入磁盘或写入网络,其中一台计算机可以跟上而另一台计算机不能,队列可能会变慢并使用无限量的内存。

如果您有更快的网络 IO,它可以帮助更快地发送数据(保持队列较小),或者它可能意味着您接收数据的速度太快(意味着队列的增长速度可能快于它们被消耗的速度)

很大程度上取决于您的应用程序实际执行的操作。当您的程序遇到 OOME 时,我建议您获取堆转储并对其进行分析,并查找消耗大量内存的集合(例如队列)。

关于java - 相同的程序,相同的 JVM,但在不同机器上的内存需求和执行时间却大不相同——为什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12355611/

相关文章:

Java Scanner异常处理

java - Windows SmartScreen 阻止我的 EXE 文件。有什么解决方案吗?

整数除法的Java余数?

android - 在 CircularImageView 上获取 OutOfMemoryError

javascript - 相同的功能,不同的时间行为

java - 如何为 Sprite 的特定部分着色

java - 我如何安全地处理 JVM 上的 key Material 缓冲区并将其归零?

java - Java中同步的内存效应

java - 如果您不在 java 8 rcp 应用程序中指定 maxmetaspace 参数,会发生什么情况?

java - 内存不足错误: Requested array size exceeds VM limit in apache camel