我有一个项目,其中我做了很多 malloc。我发现内存使用量比数据本身大得多。如果我使用 valgrind 并放入 100 MB 数据,则分配的内存为 500 MB。数据 block 大小不同,每个 20-40 字节。这是做类似事情的最小程序,但具有相同大小的 block 。
它分配了大约 43 MB,但 valgrind massif 显示 53 MB。
如果使用 jemalloc 运行,top 也会显示 47 MB。
目前所有 block 的大小都不同,我不能使用数组或其他东西。
是否有一些我可以使用的 malloc 设置,或者是否有不同的类似 malloc 的命令可以用来最大限度地减少内存浪费?
#include <stdlib.h>
#include <string.h>
#include <stdio.h>
#define BUFFER_SIZE 39
#define MANY 1000000LU
typedef struct _list{
void *next;
char payload[BUFFER_SIZE];
}list;
int main(){
list root;
printf("Allocating %lu chunks %zu bytes each, equals to %lu bytes\n", MANY, sizeof(list), MANY * sizeof(list));
list *node = & root;
unsigned long int i;
for(i = 0; i < MANY; i++){
node->next = malloc(sizeof(list));
if (node->next == NULL){
printf("Out of memory\n");
return 1;
}
memset(node->payload, 0, BUFFER_SIZE);
node = node->next;
}
printf("done\n");
return 0;
}
最佳答案
首先,开销。 malloc
结构中有一个小开销。我认为每个 malloc
大约需要 8 个字节。此外(部分是为了对齐,部分是为了实用性,部分是为了最大限度地减少下面的影响),内存分配的大小将四舍五入为 2 的小次幂的倍数。
其次,碎片化。假设您分配了 3 900 字节的 block ,A、B 和 C,分配器选择按顺序分配它们。接下来,假设 B 被释放。由于孔小于操作系统页面大小,因此 B 所在的“孔”无法返回给操作系统。如果使用 malloc
的所有后续分配都大于 900 字节,则该空洞将永远不会被填充 - 即它被浪费了。如果(比方说)出现 600 字节的分配,它可能被放置在空洞中,但那将留下 300 字节的空洞。在这种情况下,没有分配器能够完美地执行。
关于c - 为什么 malloc 会消耗那么多内存?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28074587/