CUDA:每个多处理器线程和每个 block 线程的区别是什么？

This question already has answers here:

CUDA: How many concurrent threads in total?

(3个答案)

5年前关闭。

我们有一个工作站，其中安装了两个Nvidia Quadro FX 5800卡。运行deviceQuery CUDA示例将显示每个多处理器(SM)的最大线程数为1024，而每个块的最大线程数为512。

鉴于一次只能在每个SM上执行一个块，为什么最大线程数/处理器最大线程数/块增加了一倍？我们如何利用每个SM的其他512个线程？

Device 1: "Quadro FX 5800"
  CUDA Driver Version / Runtime Version          5.0 / 5.0
  CUDA Capability Major/Minor version number:    1.3
  Total amount of global memory:                 4096 MBytes (4294770688 bytes)
  (30) Multiprocessors x (  8) CUDA Cores/MP:    240 CUDA Cores
  GPU Clock rate:                                1296 MHz (1.30 GHz)
  Memory Clock rate:                             800 Mhz
  Memory Bus Width:                              512-bit
  Max Texture Dimension Size (x,y,z)             1D=(8192), 2D=(65536,32768), 3D=(2048,2048,2048)
  Max Layered Texture Size (dim) x layers        1D=(8192) x 512, 2D=(8192,8192) x 512
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       16384 bytes
  Total number of registers available per block: 16384
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  1024
  Maximum number of threads per block:           512
  Maximum sizes of each dimension of a block:    512 x 512 x 64
  Maximum sizes of each dimension of a grid:     65535 x 65535 x 1
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             256 bytes
  Concurrent copy and kernel execution:          Yes with 1 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      No
  Device PCI Bus ID / PCI location ID:           4 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

干杯，
詹姆士。

最佳答案

Given that only one block can be executed on each SM at a time,

这句话从根本上说是不正确的。除非资源冲突，并且假设内核(即网格)中有足够的线程块，SM通常将为其分配多个线程块。

执行的基本单位是翘曲。一个warp由32个线程组成，由SM逐个指令周期地在锁步中一起执行。

因此，即使在单个线程块内，SM通常也将具有多个“飞行中”的经线。这对于获得良好性能以使计算机隐藏延迟至关重要。

从相同的线程块中选择要执行的线程束，还是从不同的线程块中选择线程束，在概念上没有区别。 SM可以在其上驻留多个线程块(即，将诸如寄存器和共享内存之类的资源分配给每个驻留线程块)，并且warp调度程序将从所有驻留线程块的所有warp中进行选择，以选择下一个warp以在其上执行任何给定的指令周期。

因此，SM具有更多的可以“驻留”的线程，因为它可以支持多个块，即使该块最大配置了线程(在这种情况下为512)。通过驻留多个线程块，我们利用了超过线程块限制的资源。

您可能还需要研究GPU程序中的占用情况。

关于CUDA:每个多处理器线程和每个 block 线程的区别是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17816136/

上一篇：r - 使用与主站点相同的 hugo 主题的 blogdown 创建一个新的静态页面

下一篇：r - 带有 ggvis : how to plot multiple groups with different shape markers and corresponding fitted regression lines 的 R 中的散点图

相关文章：

c++ - 将数组从 RAM 复制到 GPU 以及从 GPU 复制到 RAM

c++ - 如何使用 NVidia GPU 在 Windows 下逐步调试 OpenCL GPU 应用程序

cuda - 每个 CUDA 内核的最大指令数？每个 CUDA 流的最大操作数？

cuda - 有没有办法为共享内存数组设置默认值？

glsl - 最先进的GPU体积渲染

python - 如何在 keras fit_generator() 中定义 max_queue_size、workers 和 use_multiprocessing？

cuda - 为什么 CUDA Profiler 指示重放指令 : 82% ! = 全局重放 + 本地重放 + 共享重放？

visual-studio-2010 - 使用 CUDA 和 Armadillo

c++ - CUDA - 复制到对象数组中的数组

python - 一种型号是否可以使用 GPU 的所有内存？