performance - CUDA:内核性能对占用的依赖性

Question

我正在使用 CUDA 在 GPU (Fermi) 上进行有限差分计算(模板计算)。当我使用 CUDA Profiler 测试我的代码时，我发现占用率为 0.333。当我命令计算并将占用率增加到 0.677 后，内核的执行时间并没有减少而是增加了。换句话说，当占用率增加 1/3 时，性能就会下降。

我的问题是:

无论占用率如何，内核的性能是否取决于计算？

Answer 1

答案是“这取决于”您的工作负载的特征以及您如何定义性能。一般来说，如果您的瓶颈是数学吞吐量，那么您通常可以接受较低的占用率(12.5%-33%)，但如果您的瓶颈是内存，那么您通常需要更高的占用率(66% 或更高)。这只是一个经验法则，而不是绝对规则。大多数内核都处于中间位置，但也有异常(exception)。

占用率是指内核可以同时处于事件状态的最大线程数(受每个线程或其他资源的寄存器计数限制)除以不受其他资源限制时 GPU 可以事件的最大线程数。事件意味着线程已分配硬件资源并且可用于调度，而不是它在给定时钟周期上执行任何指令。

为线程发出指令i后，该线程的指令i+1可能无法立即运行，如果它依赖于指令<的结果em>我。如果该指令是数学指令，则结果将在几个时钟周期内可用。如果是内存加载指令，可能需要数百个周期。 GPU 不会等待，而是会从满足依赖关系的其他线程发出指令。

因此，如果您主要做数学运算，则只需要几个(GPU 术语中的几个；在 CPU 上会被认为很多)线程来隐藏数学指令的几个延迟周期，这样您就可以摆脱入住率低。但是，如果您有大量内存流量，则需要更多线程来确保其中一些线程准备好在每个周期执行，因为每个线程都花费大量时间“ sleep ”等待内存操作完成。

如果您为增加占用率而进行的算法更改也增加了每个线程上完成的工作量，并且如果您已经有足够的线程来保持 GPU 繁忙，那么这种更改只会减慢您的速度。增加占用率只会提高性能，直到您有足够的线程来保持 GPU 繁忙。