go - 在 goroutines 中调用 C.malloc/C.free 时的内存泄漏

Question

当我使用以下简单程序查看 RSS 时，我发现内存不断泄漏:

package main

/*
#include <stdlib.h>
*/
import "C"

import (
    "time"
    "unsafe"
    )

func loopStuff() {
    for {
        ptrs := make([]unsafe.Pointer, 20)
        for i:=0; i<20; i++ {
            ptrs[i] = C.malloc(16 * (1 << i))
        }
        time.Sleep(1 * time.Millisecond)
        for i:=0; i<20; i++ {
            C.free(ptrs[i])
        }
    }
}

func main() {
    for i:=0; i<10; i++ {
        go loopStuff()
    }
    loopStuff()
}

我正在使用 1.13.4 和 ubuntu 18.04。
这里发生了什么？

Answer 1

我认为问题出在 for {}为 10+1 个 goroutine 中的每一个无限期运行的循环。
此外，如果您阅读有关 free 的信息:

Deallocates the space previously allocated by malloc(), calloc(), aligned_alloc(), (since C11) or realloc().

因此，它基本上会释放空间，而不必立即将内存返回给操作系统。另外，请阅读此 answer .
如for loop无限期运行，您肯定会看到内存增加，但这不是泄漏。我通过删除 for loop 修改了您的代码.然后我使用 BSD 的 top 检查了 RSS。它平均使用 1100KB 并且没有增加。也许等待一段时间后，它甚至会减少(当内存返回给操作系统时)。
测试:OS: MacOS, Go: 1.15BSD的top输出:

PID    COMMAND      %CPU TIME     #TH  #WQ  #POR MEM   PURG CMPR PGRP  PPID  STATE
30767  cgo          0.0  00:00.00 11   0    20   1144K 0B   0B   30767 29146 sleeping

代码:

package main

// #include <stdlib.h>
import "C"

import "unsafe"

func loopStuff() {
        ptrs := make([]unsafe.Pointer, 20)
        for i := 0; i < 20; i++ {
                ptrs[i] = C.malloc(16 * (1 << i))
        }
        for i := 0; i < 20; i++ {
                C.free(ptrs[i])
        }
}

func main() {
        for i := 0; i < 10; i++ {
                go loopStuff()
        }
        loopStuff()
        // Block the main goroutine
        select {}
}

更新:
试试下面的代码。肯定有分配给 unsafe.Pointer 的 slice 在每次迭代中。还做了一些改动。也许在您的系统上您现在不会看到内存泄漏。

package main

/*
#include <stdlib.h>
*/
import "C"

import (
        "time"
        "unsafe"
)

func loopStuff() {
        ptrs := make([]*unsafe.Pointer, 20)
        for {
                for i := 0; i < 20; i++ {
                        tmp := C.malloc(16 * (1 << i))
                        ptrs[i] = &tmp
                }
                time.Sleep(1 * time.Millisecond)
                for i := 0; i < 20; i++ {
                        C.free(*ptrs[i])
                }
        }
}

func main() {
        for i := 0; i < 10; i++ {
                go loopStuff()
        }
        loopStuff()
}