c - MPI 在根进程上收集数组

Question

我是 MPI 的新手。我有 4 个进程:进程 1 到 3 填充一个 vector 并将其发送到进程 0，进程 0 将 vector 收集到一个非常长的 vector 中。我有可用的代码(太长而无法发布)，但进程 0 的 recv 操作笨拙且非常慢。

抽象地说，代码执行以下操作:

MPI::Init();
int id = MPI::COMM_WORLD.Get_rank();

if(id>0) {
    double* my_array = new double[n*m]; //n,m are int
    Populate(my_array, id);
    MPI::COMM_WORLD.Send(my_array,n*m,MPI::DOUBLE,0,50);
}

if(id==0) {
    double* all_arrays = new double[3*n*m];
    /* Slow Code Starts Here */
    double startcomm = MPI::Wtime();
    for (int i=1; i<=3; i++) {
    MPI::COMM_WORLD.Recv(&all_arrays[(i-1)*m*n],n*m,MPI::DOUBLE,i,50);
    }
    double endcomm = MPI::Wtime();
    //Process 0 has more operations...
}
MPI::Finalize();

事实证明，endcomm - startcomm 占总时间的 50%(0.7 秒，而程序完成时间为 1.5 秒)。

是否有更好的方法从进程 1-3 接收 vector 并将它们存储在进程 0 的 all_arrays 中？

我查看了 MPI::Comm::Gather，但不确定如何使用它。特别是，它是否允许我指定进程 1 的数组是 all_arrays 中的第一个数组，进程 2 的数组是第二个，等等？谢谢。

编辑:我删除了“慢”循环，而是将以下内容放在“if” block 之间:

MPI_Gather(my_array,n*m,MPI_DOUBLE,
    &all_arrays[(id-1)*m*n],n*m,MPI_DOUBLE,0,MPI_COMM_WORLD);

导致同样缓慢的性能。这是否与根进程在尝试下一个接收之前“等待”每个接收完成这一事实有关？还是这不是正确的思考方式？

Answer 1

是的，MPI_Gather 将完全做到这一点。来自 MPI_Gather 的 anl 页面:

int MPI_Gather(void *sendbuf, int sendcnt, MPI_Datatype sendtype, 
               void *recvbuf, int recvcnt, MPI_Datatype recvtype, 
               int root, MPI_Comm comm)

这里，sendbuf 是您在每个进程上的数组 (my_array)。 recvbuf 是接收进程上的长数组(all_arrays)，短数组将被收集到。接收过程中的短数组正在被复制到它在长数组中的连续位置，所以你不必担心自己做这件事。来自每个进程的数组将在长数组中连续排列。

编辑:

如果接收进程在收集中没有贡献sendbuf，你可能需要使用MPI_Gatherv。相反(感谢@HristoIliev 指出这一点)。