Java 8 hashmap 高内存使用率

Question

我使用 hashmap 来存储 QTable 以实现强化学习算法。我的 hashmap 应该存储 15000000 个条目。当我运行我的算法时，我看到进程使用的内存超过 1000000K。当我计算内存时，我希望它使用不超过 530000K。我试着写一个例子，我得到了同样高的内存使用率:

public static void main(String[] args) {
    HashMap map = new HashMap<>(16_000_000, 1);
    for(int i = 0; i < 15_000_000; i++){
        map.put(i, i);
    }
}

我的内存计算:

每个条目集是 32 个字节
容量为15000000
HashMap 实例使用:32 * SIZE + 4 * CAPACITY 内存 = (15000000 * 32 + 15000000 * 4)/1024 = 527343.75K

我的内存计算哪里错了？

Answer 1

好吧，在最好的情况下，我们假设字长为 32 位/4 字节(使用 CompressedOops 和 CompressedClassesPointers)。然后，一个映射条目由两个词 JVM 开销(klass 指针和标记词)、key、value、hashcode 和 next 指针组成，总共 6 个词，即 24 个字节。因此，拥有 15,000,000 个条目实例将消耗 360 MB。

此外，还有包含条目的数组。 HashMap 使用的容量是 2 的幂，因此对于 15,000,000 个条目，数组大小至少为 16,777,216，消耗 64 MiB。

然后，您有 30,000,000 个 Integer 实例。问题是 map.put(i, i) 执行 two 装箱操作，虽然鼓励 JVM 在装箱时重用对象，但这不是必需的，并且重用不会发生在您的简单程序中，该程序可能在优化器干扰之前完成。

准确地说，前 128 个 Integer 实例被重用，因为对于 -128 ... +127 范围内的值，共享是强制性的，但实现是这样做的通过在第一次使用时初始化整个缓存，因此对于第一次 128 迭代，它不会创建两个实例，但缓存由 256 个实例组成，这是两次这个数字，所以我们再次得到 30,000,000 个 Integer 实例。 Integer 实例至少包含两个 JVM 特定的单词和实际的 int 值，这将是 12 个字节，但由于默认对齐方式，实际消耗的内存将为 16 字节，可被 8 整除。

因此，创建的 30,000,000 个 Integer 实例消耗 480 MB。

这使得总共 360 MB + 64 MiB + 480 MB，超过 900 MB，使得 1 GB 的堆大小完全合理。

但这就是分析工具的用途。运行你的程序后，我得到了

请注意，此工具仅报告对象的使用大小，即 Integer 对象的 12 字节，而没有考虑在查看 JVM 分配的总内存时会注意到的填充。