c - 如何在 Linux 上检查进程的堆大小

Question

我正在编写一些代码，但它一直在崩溃。后来在挖掘转储后，我意识到我超出了最大堆限制(如果我添加了对 malloc 的检查，生活会更轻松)。虽然我解决了这个问题，但有什么方法可以增加我的堆大小吗？

PS:阿蛮similar question在这里，但我不清楚回复。

Answer 1

堆和内存管理是您的 C 库(可能是 glibc)提供的一种工具。每次执行 malloc() 时，它都会维护堆并向您返回内存块。它不知道堆大小限制:每次您请求比堆上可用的内存更多的内存时，它都会向内核请求更多(使用 sbrk() 或 mmap ()).

默认情况下，内核几乎总是会在询问时为您提供更多内存。这意味着 malloc() 将始终返回一个有效地址。只有当您第一次引用分配的页面时，内核才会真正为您找到一个页面。如果它发现它不能给你一个，它会运行一个 OOM killer ，根据称为 badness 的某种度量(包括你的进程及其子进程的虚拟内存大小、nice 级别、整体运行时间等)选择一个受害者并向其发送 SIGTERM。这种内存管理技术称为 overcommit，当 /proc/sys/vm/overcommit_memory 为 0 或 1 时被内核使用。参见 overcommit-accounting有关详细信息，请参阅内核文档。

通过将 2 写入 /proc/sys/vm/overcommit_memory 您可以禁用过度使用。如果你这样做，内核会在 promise 之前检查它是否有内存。如果没有更多可用内存，这将导致 malloc() 返回 NULL。

您还可以使用 setrlimit() 和 RLIMIT_AS 或使用 ulimit -v 设置进程可以分配的虚拟内存限制命令。不管上面描述的overcommit设置如何，如果进程试图分配超过限制的内存，内核将拒绝它并且malloc()将返回NULL。请注意，在现代 Linux 内核(包括整个 2.6.x 系列)中，驻留大小的限制(setrlimit() 与 RLIMIT_RSS 或 ulimit -m 命令)无效。

以下 session 在内核 2.6.32 上运行，具有 4GB RAM 和 8GB 交换空间。

$ cat bigmem.c
#include <stdlib.h>
#include <stdio.h>

int main() {
  int i = 0;
  for (; i < 13*1024; i++) {
    void* p = malloc(1024*1024);
    if (p == NULL) {
      fprintf(stderr, "malloc() returned NULL on %dth request\n", i);
      return 1;
    }
  }
  printf("Allocated it all\n");
  return 0;
}
$ cc -o bigmem bigmem.c
$ cat /proc/sys/vm/overcommit_memory
0
$ ./bigmem
Allocated it all
$ sudo bash -c "echo 2 > /proc/sys/vm/overcommit_memory"
$ cat /proc/sys/vm/overcommit_memory
2
$ ./bigmem
malloc() returned NULL on 8519th request
$ sudo bash -c "echo 0 > /proc/sys/vm/overcommit_memory"
$ cat /proc/sys/vm/overcommit_memory
0
$ ./bigmem
Allocated it all
$ ulimit -v $(( 1024*1024 ))
$ ./bigmem
malloc() returned NULL on 1026th request
$

在上面的示例中，永远不会发生交换或 OOM 终止，但如果进程实际尝试访问所有分配的内存，这将发生显着变化。

直接回答您的问题:除非您使用 ulimit -v 命令明确设置了虚拟内存限制，否则除了机器的物理资源或地址空间的逻辑限制(相关在 32 位系统中)。您的 glibc 将继续在堆上分配内存，并随着堆的增长向内核请求越来越多的内存。如果所有物理内存都用完，最终你可能会交换得很糟糕。一旦交换空间耗尽，内核的 OOM killer 将杀死一个随机进程。

但是请注意，内存分配失败的原因可能不止是缺少可用内存、碎片或达到配置的限制。 glib 的分配器使用的 sbrk() 和 mmap() 调用有它们自己的失败，例如程序中断到达另一个已分配的地址(例如共享内存或先前使用 mmap() 映射的页面)或已超出进程的最大内存映射数。