parallel-processing - 如何将单个节点的多个核心分配给 MPI 集群中的单个作业/进程？

Question

我有一个 MPI 程序，我想在 30 个节点上运行(每个节点有 32 个核心)。如何将节点的所有核心分配给单个作业/进程？

我正在使用槽来限制特定节点的作业数量。 node001 插槽=1 max_slots=20 node002 插槽=1 max_slots=20

我可以使用任何参数来实现此目的吗？

提前致谢。

Answer 1

使用 openmpi，您可以使用选项 --rankfile 显式设置排名。

可以在此处找到该文件的语法:https://www.open-mpi.org/doc/v2.0/man1/mpirun.1.php ^

这是一个非常简单的 MPI+OpenMP 程序:

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sched.h>
#include <mpi.h>
#include <omp.h>

void main(int argc, char** argv)
{
    MPI_Init(&argc, &argv);
    unsigned cpu;
    unsigned node;

    int rank;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    #pragma omp parallel
    {
        printf("[%d:%d] %d\n", rank, omp_get_thread_num(), sched_getcpu());
    }
    MPI_Finalize();
}

打印每个 OpenMP 线程的 [MPI_rank:OMP_rank] cpu。

排名文件的基本格式是:

rank <rank>=<host> slot=<slot>:<cores>

使用这个基本的Rankfile(主机=Marvin，一个插槽上有2CPU):

>cat ./rankfile
rank 0=Marvin slot=0:0
rank 1=Marvin slot=0:0
rank 2=Marvin slot=0:0
rank 3=Marvin slot=0:1
rank 4=Marvin slot=0:0-1
rank 5=Marvin slot=0:0

这些是我的打印:

>mpirun -n 6 --rankfile ./rankfile ./main
[0:0] 0
[1:0] 0
[2:0] 0
[3:0] 1
[4:0] 1
[4:1] 0
[5:0] 0

我没有设置 OMP_NUM_THREADS 环境变量，以便让 OpenMP 检测每个等级有多少个核心可用。

希望这对你有帮助