CPU缓存抑制

Question

假设我有事实上的标准 x86 CPU，具有 3 级缓存，L1/L2 私有(private)，L3 在内核之间共享。有没有办法分配共享内存，其数据不会缓存在 L1/L2 私有(private)缓存中，而只会缓存在 L3 中？我不想从内存中获取数据(这太昂贵了)，但我想在将共享数据放入私有(private)缓存和不将共享数据放入私有(private)缓存的情况下进行性能试验。

假设 L3 在核心之间共享(大概是物理索引缓存)，因此不会导致任何错误共享或缓存行失效对于频繁使用的共享数据。

任何解决方案(如果存在的话)都必须以编程方式完成，使用 C 语言和/或针对基于英特尔 CPU 的程序集(相对现代的至强架构(skylake、broadwell)，运行基于 linux 的操作系统。

编辑:

我有延迟敏感的代码，它使用一种共享内存的形式来进行同步。数据将在 L3 中，但在读取或写入时将根据缓存包容性策略进入 L1/L2。 根据该问题的暗示，数据将不得不无效，从而增加不必要的(我认为)性能损失。我想看看是否可以仅通过某些页面策略或仅在 L3 中的特殊说明来存储数据。

我知道出于安全原因可以使用特殊内存寄存器来禁止缓存，但这需要 CPL0 权限。

编辑2:

我正在处理在高性能系统上运行数月的并行代码。这些系统是高核心数系统(例如 40-160+ 核心)，定期执行需要在 usecs 中执行的同步。

Answer 1

x86 无法通过 L1D/L2 而不是 L3 进行绕过或写入的存储。有绕过所有缓存的 NT 商店。任何强制回写到 L3 的操作也会强制一直回写到内存。 (例如 clwb 指令)。这些专为非 volatile RAM 用例或非相干 DMA 而设计，在这些用例中，将数据提交到实际 RAM 很重要。

也没有办法进行绕过 L1D 的加载(除了使用 SSE4.1 movntdqa 的 USWC 内存，但它在其他内存类型上不是“特殊的”)。 prefetchNTA根据Intel的优化手册可以绕过L2。

在核心上进行读取的预取应该有助于触发从其他核心写回到 L3，并传输到您自己的 L1D。但这只有在您要加载之前准备好地址时才有用。 (几十个循环才有用。)

英特尔 CPU 使用共享的包容性 L3 缓存作为片上缓存一致性的后盾。 2-socket 必须监听另一个 socket，但支持超过 2P 的 Xeons 有监听过滤器来跟踪移动的缓存行。

当你读到另一个核心最近写的一行时，它在你的 L1D 中总是无效的。 L3 是包含标签的，它的标签有额外的信息来跟踪哪个内核有线路。 (即使该行在某处的 L1D 中处于 M 状态也是如此，这要求它在 L3 中无效， according to normal MESI 。)因此，在您的缓存未命中检查 L3 标签后，它会触发对具有行将其写回 L3 缓存(并且可能将其直接发送到核心而不是想要它)。

Skylake-X (Skylake-AVX512) 没有包容性 L3(它有一个更大的私有(private) L2 和一个更小的 L3)，但它仍然有一个标签包容性结构来跟踪哪个内核有一条线。它还使用网格而不是环，L3 延迟似乎明显比 Broadwell 差。

---

可能有用:使用直写缓存策略映射共享内存区域的延迟关键部分。 IDK 如果这个补丁曾经进入主线 Linux 内核，但请参阅 this patch from HP: Support Write-Through mapping on x86 。 (正常的政策是WB。)

还相关:Main Memory and Cache Performance of Intel Sandy Bridge and AMD Bulldozer，深入了解 2 插槽 SnB 上的延迟和带宽，用于不同起始状态的缓存行。

有关 Intel CPU 内存带宽的更多信息，请参阅 Enhanced REP MOVSB for memcpy ，尤其是延迟限制平台部分。 (只有 10 个 LFB 限制了单核带宽)。

---

相关:What are the latency and throughput costs of producer-consumer sharing of a memory location between hyper-siblings versus non-hyper siblings? 有一些实验结果，让一个线程垃圾邮件写入一个位置，而另一个线程读取它。

请注意，缓存未命中本身并不是唯一的影响。您还会从执行负载的核心中的错误推测中获得很多 machine_clears.memory_ordering。 (x86 的内存模型是强有序的，但真实的 CPU 推测性地提前加载并在极少数情况下中止，即缓存行在加载应该“发生”之前变得无效。