如果每个 block 中的线程数已经大于 CUDA 核心数，那么与一次启动一个 block 相比，同时启动 block 网格是否有任何性能优势？
最佳答案
我认为有；一个线程 block 被分配给一个流式多处理器 (SM)，SM 进一步将每个 block 的线程划分为 32 个线程的 warp(较新的体系结构可以处理更大的 warp)，这些线程被安排按顺序执行(或多或少)。考虑到这一点，将每个计算分成 block 以便它们占用尽可能多的 SM 会更快。构建卡支持的每个 warp 线程的倍数的 block 也意味着完整(对于 SM 使用 32 线程 warp 的情况，32 或 64 个线程而不是 40 个线程的 block )。
关于parallel-processing - CUDA 并行 block 的最佳数量，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11865145/