cuda - 为 infiniband 设置 GPUDirect

Question

我尝试设置 GPUDirect 以直接在设备内存上使用 infiniband 动词 rdma 调用，而不需要使用 cudaMemcpy。 我有 2 台配备 nvidia k80 gpu 卡的机器，每台机器的驱动程序版本为 367.27。已安装 CUDA8 和 Mellanox OFED 3.4 还安装了 Mellanox-nvidia GPUDirect 插件:

-bash-4.2$ service nv_peer_mem status
nv_peer_mem module is loaded.

根据此线程“How to use GPUDirect RDMA with Infiniband” 我满足 GPUDirect 的所有要求，并且以下代码应该成功运行。但事实并非如此，ibv_reg_mr 失败并显示错误“错误地址”，就好像 GPUDirect 未正确安装一样。

void * gpu_buffer;
struct ibv_mr *mr;
const int size = 64*1024;
cudaMalloc(&gpu_buffer,size); // TODO: Check errors
mr = ibv_reg_mr(pd,gpu_buffer,size,IBV_ACCESS_LOCAL_WRITE|IBV_ACCESS_REMOTE_WRITE|IBV_ACCESS_REMOTE_READ);

请求的信息:
使用mlx5。
最后的内核日志:

[Nov14 09:49] mlx5_warn:mlx5_0:mlx5_ib_reg_user_mr:1418:(pid 4430): umem get failed (-14)

我错过了什么吗？我是否需要一些其他数据包，或者我是否必须以某种方式在我的代码中激活 GPUDirect？

Answer 1

nv_peer_mem 模块失败的一个常见原因是与统一内存 (UVM) 的交互。您可以尝试禁用 UVM:

export CUDA_DISABLE_UNIFIED_MEMORY=1

？

如果这不能解决您的问题，您应该尝试从 https://github.com/NVIDIA/gdrcopy 运行 validation 和 copybw 测试检查 GPUDirectRDMA。如果它有效，那么您的 Mellanox 堆栈配置错误。