cuda - CUDA 全局内存交易的成本

Question

根据 CUDA 5.0 编程指南，如果我同时使用 L1 和 L2 缓存(在 Fermi 或 Kepler 上)，则所有全局内存操作都使用 128 字节内存事务完成。但是，如果我仅使用 L2，则使用 32 字节内存事务(F.4.2 章)。

让我们假设所有缓存都是空的。如果我有一个扭曲，每个线程以完全对齐的方式访问单个 4 字节字，这将导致 L1+L2 情况下的 1x128B 事务，以及仅 L2 情况下的 4x32B 事务。那正确吗？

我的问题是 - 4 个 32B 事务是否比单个 128B 事务慢？
我对费米之前硬件的直觉表明它会更慢，但也许在较新的硬件上不再如此？或者我应该只看带宽利用率来判断我的内存访问效率？

Answer 1

是的，在缓存模式下，将生成一个 128 字节的事务(从 L1 缓存级别来看)。在未缓存模式下，将生成四个 32 字节的事务(从 L2 缓存级别来看——它仍然是一个来自由于合并导致的扭曲。)在您描述的情况下，四个 32 字节的事务并不会变慢，对于完全合并的访问，无论是缓存还是非缓存模式。在任何一种情况下，内存 Controller (在给定的 GPU 上)都应该生成相同的事务以满足扭曲的请求。由于内存 Controller 由许多(最多 6 个)“分区”组成，每个分区都有 64 位宽的路径，最终将使用多个内存事务(可能跨越多个分区)来满足任一请求(4x32 字节或1x128 字节)。跨分区的事务和组织的具体数量可能因 GPU 而异，(这不是您的问题的一部分，但具有 DDR 泵浦内存的 GPU 将在每个内存事务的每个分区返回 16 字节，并且使用 QDR 泵浦内存，每个内存事务将返回每个分区 32 字节)。这也不是特定于 CUDA 5。您可能想查看 NVIDIA 的 webinars 之一对于此 Material ，特别是“CUDA 优化:内存带宽限制内核”。即使你不想看 video ，快速回顾 slides将提醒您所谓的“缓存”和“未缓存”访问(这是指 L1)之间的各种差异，并为您提供尝试每种情况所需的编译器开关。

查看幻灯片的另一个原因是它会提醒您在什么情况下您可能想要尝试“未缓存”模式。特别是，如果你有一个来自你的经纱的分散(未合并)访问模式，未缓存模式访问可能会产生改进，因为与 128 字节相比，从内存中请求 32 字节数量以满足单个线程的请求时“浪费”更少数量。但是，在回答您的最后一个问题时，对其进行分析是相当困难的，因为大概您的代码是有序和无序访问模式的混合。由于未缓存模式是通过编译器开关打开的，幻灯片中给出的建议只是“尝试两种方式的代码”，看看哪个运行得更快。根据我的经验，在非缓存模式下运行很少会产生性能改进。

编辑:对不起，我有错误演示文稿的链接和标题。固定幻灯片/视频链接和网络研讨会标题。