我正在尝试使用 C++ 在超立方体网络上实现 All-To-All(即 MPI_Allgather)操作。
例如，对于 n(即处理器数量)= 8，我将初始数据存储为
p0: [00, 01, 02, ..., 07];
p1: [10, 11, 12, ..., 17],
...
...
p7: [70, 71, 72, ..., 77].
最终在运行 All-To-All 之后，数据应该变成
p0: [00, 10, 20, ..., 70],
P1: [01, 11, 21, ..., 71],
...,
p7: [07, 17, 27, ..., 77].
(换句话说，每个处理器都从其他处理器获取数据)。
我虽然使用一些掩码和循环的算法涉及在两个处理器之间交换数据的步骤，例如，将 p0 的最后 4 个元素与 p3 的前 4 个元素交换(将 p0 的最后 4 个元素发送到 p3 并首先发送同时从 p3 到 p0 的 4 个元素)。使用 MPI_Send 和 MPI_Recv 无法实现此目的，因为接收器的半数组在发送数据之前将被覆盖。任何人都可以帮助我使用哪些技术来做到这一点？我考虑过使用中间缓冲区，但仍然不确定如何编写发送和接收 MPI 代码。
或者如果有人可以告诉我任何其他实现 All-to-All 的方法。我真的很感激。非常感谢!
最佳答案
MPI 中的 All-to-all 由 MPI_ALLTOALL 或 MPI_ALLTOALLV 执行。常规调用需要两个不同的缓冲区来发送和接收数据。 MPI 标准还为这两个操作定义了一个“就地”选项。在您的情况下，这段代码应该可以做到:
double p[8];
MPI_Alltoall(MPI_IN_PLACE, 1, MPI_DOBLE, // send count and datatype are ignored
p, 1, MPI_DOUBLE,
MPI_COMM_WORLD);
不幸的是，一些 MPI 实现不支持这种“就地”模式。一个值得注意的例子是 Open MPI。 MPICH2 支持它。
这是一种实现方式:MPICH2 alltoall.c
关于c++ - 如何使用一些 MPI 命令(或组合命令)在两个处理器之间交换存储在二维数组中的数据？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13152386/