c# - .NET 进程的内存转储中存在大量无法解释的内存

Question

我无法解释 C# 进程使用的大部分内存。总内存为 10 GB，但可访问和不可访问的对象总计为 2.5 GB。我想知道这 7.5 GB 可能是什么？

我正在寻找最可能的解释或方法来找出这段内存可能是什么。

这是准确的情况。该过程是.NET 4.5.1。它从 Internet 下载页面并使用机器学习对其进行处理。如 VMMap 所示，内存几乎完全位于托管堆中。这似乎排除了非托管内存泄漏。

进程已经运行了好几天了，内存慢慢变大了。在某些时候，内存为 11 GB。我停止了进程中运行的所有东西。我运行垃圾收集包括 large object heap compaction几次(间隔一分钟):

GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce;
GC.Collect();

内存下降到 10 GB。然后我创建转储:

procdump -ma psid

如预期的那样，转储为 10 GB。

我用 .NET memory profiler 打开转储(5.6 版)。转储显示总共 2.2 GB 的可访问对象和 0.3 GB 的不可访问对象。 什么可以解释剩余的 7.5 GB？

我一直在想的可能的解释:

• LOH 并没有真正完全压实
• 除了探查器显示的对象之外，还使用了一些内存

Answer 1

经过调查，问题恰好是由于固定缓冲区导致的堆碎片。我将解释如何调查以及什么是固定缓冲区。

我用过的所有分析器都同意说大部分堆是免费的。现在我需要看看碎片化。例如，我可以用 WinDbg 做到这一点:

!dumpheap -stat

然后我查看了“大于...的碎片 block ”部分。 WinDbg 表示对象位于空闲 block 之间，因此无法进行压缩。然后我查看了持有这些对象的内容以及它们是否被固定，例如地址为 0000000bfaf93b80 的对象:

!gcroot 0000000bfaf93b80

它显示引用图:

00000004082945e0 (async pinned handle)
-> 0000000535b3a3e0 System.Threading.OverlappedData
-> 00000006f5266d38 System.Threading.IOCompletionCallback
-> 0000000b35402220 System.Net.Sockets.SocketAsyncEventArgs
-> 0000000bf578c850 System.Net.Sockets.Socket
-> 0000000bf578c900 System.Net.SocketAddress
-> 0000000bfaf93b80 System.Byte[]

00000004082e2148 (pinned handle)
-> 0000000bfaf93b80 System.Byte[]

最后两行告诉您对象已固定。

固定对象是无法移动的缓冲区，因为它们的地址与非托管代码共享。这里可以猜到是系统TCP层。当托管代码需要将缓冲区的地址发送给外部代码时，它需要“固定”缓冲区以使地址保持有效:GC 无法移动它。

这些缓冲区虽然只占内存的一小部分，但无法进行压缩，从而导致大量内存“泄漏”，即使它不完全是泄漏，更多的是碎片问题。这可能发生在 LOH 上，也可能发生在分代堆上。现在的问题是:是什么导致这些固定的对象永远存在:找到导致碎片的泄漏的根本原因。

你可以在这里阅读类似的问题:

• https://ayende.com/blog/181761-C/the-curse-of-memory-fragmentation

• .NET deletes pinned allocated buffer (答案中对固定对象的很好解释)

注意:根本原因在第三方库中 AerospikeClient使用 .NET 异步套接字 API known for pinning the buffers sent to it .虽然 AerospikeClient 正确使用了缓冲池，但在重新创建其客户端时会重新创建缓冲池。由于我们每小时重新创建一次他们的客户端，而不是永远创建一个，因此重新创建了缓冲池，导致固定缓冲区数量不断增加，进而导致无限碎片。尚不清楚的是，为什么旧​​缓冲区在传输结束时或至少在其客户端被处置时永远不会取消固定。