我正在开发一个应用程序,该应用程序最多可 fork 8 次以实现并行性。每个 fork 都有一个来自 fork 时原始进程的内存空间的完整拷贝。 fork 很快,因为 Linux 在进程之间共享页面,并且仅在修改时创建新页面。实际上,我的应用程序的内存消耗增长似乎大约是 3 倍。对于用于识别会降低增长的更改的工具或技术有什么建议吗?
一个想法是查看修改页面的页面碎片。还只是对 fork 进程中分配的内容进行了蛮力检查。无论哪种情况,您都可以推荐哪些技术或工具来执行该分析?
请记住,即使使用并行性,该程序也需要几个小时才能完成,并且内存占用量高达 1TB,因此检测选项有限。
最佳答案
您可以使用 vmstat
、systemtap
或 glibc
的 malloc-hooks
来监控消费。
您可以使用perf
查看故障发生在哪里,以了解消耗的实际影响。
如果您的应用程序在使用大内存池时面临 TLB 压力(例如,您正在处理大量数据),您可以使用大/大页面来减轻 4k 页面的开销。
您还可以使用 madvise
从您的进程中告诉内核您可能会对分配的内存做什么。
关于c++ - 如何使用写时复制来最小化 c++ 程序的内存消耗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13608182/