multithreading - 使用线程时的内存管理

Question

1)我尝试搜索在程序中使用线程时如何分配内存但找不到答案。这里What and where are the stack and heap?是调用单个程序时堆栈和堆的工作方式。但是当涉及到线程编程时会发生什么？

2) 使用 OpenMP 并行区域创建线程，并行代码将在每个线程中并发执行。这在内存中分配的空间是否比顺序执行的相同代码占用的内存多？

Answer 1

一般来说，是的，[用户空间] 堆栈是每个线程一个，而堆通常由所有线程共享。参见例如 this Linux question .但是，在某些操作系统 (OS) 上，在 Windows in particular ，即使是单线程应用程序也可能使用多个堆。使用 OpenMP 进行线程处理不会改变这些基本取决于操作系统。因此，除非您将问题缩小到特定的操作系统，否则在这种普遍性水平上不能说更多。

由于我懒得自己画这个，这里是 Nichols 等人的 PThreads Programming 中的对比图。 (1996)

在免费的 LLNL POSIX Threads Programming tutorial by B. Barney. 中可以找到更详细的(但可能更令人困惑)的图表。

是的，正如您正确怀疑的那样，运行更多线程确实会消耗更多堆栈内存。你实际上可以exhaust the virtual address space of a process just with thread stacks if you make enough of them . OpenMP 的各种实现都有一个 STACKSIZE environment variable (或 thereabout )控制 OpenMP 为线程分配多少堆栈。

关于 Z 玻色子关于线程本地存储 (TLS) 的问题/建议:粗略地(即概念上)说，Thread Local Storage是一个每线程堆。与用于操作它的 API 中的每个进程堆存在差异，至少因为每个线程需要自己的指向其自己的 TLS 的单独指针，但基本上你有一个类似堆的进程地址空间块是保留的到每个线程。 TLS 是可选的，您不必使用它。 OpenMP provides its own abstraction/directive for TLS-like persistent per-thread data ，称为 THREADPRIVATE . OpenMP 没有必要 THREADPRIVATE使用操作系统的 TLS 支持，但是有一个 Linux-focused paper which says that such an implementation gave the best performance ，至少在那个环境中。

这里有一个微妙之处(或者当我将 TLS 与每线程堆进行比较时我说“粗略地说”的原因):假设您想要一个每线程堆，例如，为了减少对主堆的锁定争用。您实际上不必在每个线程的 TLS 中存储整个每线程堆。 It suffices在每个线程的 TLS 中存储一个不同的头指针，指向在共享的每个进程空间中分配的堆。在程序中识别并自动使用每线程堆(以减少主堆上的锁定争用)是 farily difficult CS problem .自动执行此操作的堆分配器称为可伸缩/并行[化] 堆分配器或类似的。例如，Intel TBB provides one such allocator ，它can be used in your program even if you use nothing else from TBB .尽管有些人似乎认为 Intel 的 TBB 分配器包含黑魔法，但实际上它与前面提到的使用 TLS 指向某个线程本地堆的基本思想并没有太大区别，后者又由多个由块分隔的双向链表组成/object-size，如下图来自Intel paper on TBB阐明:


IBM 对 AIX 7.1 有一些类似的东西，但有点复杂。您可以告诉它的(默认)分配器为多线程应用程序使用固定数量的堆，例如 MALLOCOPTIONS=multiheap:3 . AIX 7.1 还有另一个选项(可以组合多堆) MALLOCOPTIONS=threadcache ，这似乎与英特尔 TBB 的做法有些相似，因为它保留了一个释放区域的每线程缓存， future 的分配请求可以从这些缓存中得到服务，同时减少全局堆争用。除了默认分配器的那些选项，AIX 7.1 还有一个(非默认)"Watson2" allocator它“使用特定于线程的机制，该机制使用不同数量的堆结构，这取决于程序的行为。因此不需要配置选项。” (但您确实需要使用 MALLOCTYPE=Watson2 显式选择此分配器。)Watson2 的操作听起来更接近于英特尔 TBB 分配器的操作。

上面详述的上述两个示例(Intel TBB 和 AIX)只是作为具体示例，但不应被理解为持有某种独家酱料。 per-thread 或 per-CPU 堆缓存的想法/arena/magazine相当普遍。 BSDcan jemalloc paper引用了 1998 MS Research paper作为第一个为此目的系统地评估竞技场的公司。前面提到的 MS 论文确实将 ptmalloc 网页引用为“1998 年 5 月 11 日访问”，并总结了 ptmalloc 的工作如下:“它使用子堆链表，其中每个子堆都有一个锁、128 个空闲列表和一些内存来管理. 当一个线程需要分配一个块时，它会扫描子堆列表并抓取第一个未锁定的块，分配所需的块，然后返回。如果找不到未锁定的子堆，则创建一个新的并添加到列表。通过这种方式，线程永远不会在锁定的子堆上等待。”