我有一些数据:
MyDataType *deviceData, *hostData;
我为主机数据分配固定内存,为设备数据分配内存:
cudaMallocHost(&hostData, dataSize * sizeof(MyDataType));
cudaMalloc(&deviceData, dataSize * (MyDataType));
然后我使用这些数据。每个时间步我将数据上传到 CUDA,处理数据并从 CUDA 下载数据:
cudaMemcpy(deviceData, hostData, dataSize * sizeof(MyDataType), cudaMemcpyHostToDevice);
//processing data
cudaMemcpy(hostData, deviceData, dataSize * sizeof(MyDataType), cudaMemcpyDeviceToHost);
但是这个过程太慢了。将数据复制到 CUDA 大约需要所有工作时间的 3-5%。从 CUDA 复制数据大约占所有工作时间的 80-85%。
如何减少数据传输时间?
最佳答案
事实证明这是时间问题和内核启动的异步性质,而不是数据传输速率慢。定时设备到主机的传输包括先前内核的执行,因为 cudaMemcpy
调用是一系列内核启动后的第一个阻塞调用。我们没有看到问题中的任何实质代码,但解决方案正在改变这种类型的 API 调用序列:
cudaMemcpy(deviceData, hostData, dataSize * sizeof(MyDataType), cudaMemcpyHostToDevice);
//processing data by launching kernels
cudaMemcpy(hostData, deviceData, dataSize * sizeof(MyDataType), cudaMemcpyDeviceToHost);
为此:
cudaMemcpy(deviceData, hostData, dataSize * sizeof(MyDataType), cudaMemcpyHostToDevice);
//processing data by launching kernels
cudaDeviceSynchronize(); // host code blocks here instead
cudaMemcpy(hostData, deviceData, dataSize * sizeof(MyDataType), cudaMemcpyDeviceToHost);
关于c++ - 如何提高内存使用性能?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33095907/