我正在基于 PBS 的集群上运行一些 CFD 模拟。我会运行大量的案例,因此想在集群节点上做预处理。我需要做两个步骤,首先是网格化,网格化完成后,我想运行网格划分例程。 为了避免手动工作,我想在 pbs 作业脚本中对此进行编程。
我可以通过运行以下命令并行运行所有案例的网格划分:
#!/usr/bin/env bash
#PBS -q regular
#PBS -l nodes=1:ppn=8
#PBS -N prep_tst_2
#PBS -l walltime=6:00:00
cd $PBS_O_WORKDIR
hexp -batch -project tst_1.igg &
hexp -batch -project tst_2.igg &
hexp -batch -project tst_3.igg &
hexp -batch -project tst_4.igg &
hexp -batch -project tst_5.igg &
hexp -batch -project tst_6.igg &
hexp -batch -project tst_7.igg &
hexp -batch -project tst_8.igg &
#End of script
其中 hexp 是网格划分程序!
我还可以运行网格划分任务,然后运行:
hexp -batch -project tst_1.igg ; partit -batch -project tst_1.igg
但是我怎样才能将两者结合起来呢? 我想并行运行最后一个命令的 8 个实例,以便在完成 tst_1.igg 的网格划分后,无论其他实例的状态如何,它都会继续对 tst_1.igg 进行分区。
最好的问候,亚当
最佳答案
GNU Parallel
似乎可以很好地解决这个问题。如果我理解正确的话,你想为给定的文件依次运行 hexp
和 partit
。您希望序列针对多个文件并行运行。我认为您会希望按如下方式使用 GNU Parallel
:
首先,创建一个接受文件名参数并启动两个命令的简单 bash 脚本:
#!/bin/bash
hexp -batch -project $1 ; partit -batch -project $1
#name this file hexpart.sh and make it executable
接下来,在您的 PBS 脚本中使用 GNU Parallel
在多个 CPU 上启动 hexpart.sh
。在这种情况下,一个节点上的 8 个 CPU 上有 8 个文件:
#!/bin/bash
#PBS -l nodes=1:ppn=8
#Other PBS directives
cd $PBS_O_WORKDIR
module load gnu-parallel # this will depend on your cluster setup
parallel -j8 --sshloginfile $PBS_NODEFILE --workdir $PBS_O_WORKDIR \
`pwd`/hexpart.sh tst_{}.igg' ::: 1 2 3 4 5 6 7 8
#name this file launch.pbs
然后运行 qsub launch.pbs
,parallel
命令将在八个文件上运行 hexpart.sh,每个文件在一个单独的 CPU 上。文件名将通过将 {}
替换为 :::
之后的参数来生成。这是一个tutorial for GNU Parallel .
关于cluster-computing - 并行运行多个串行相关的作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22426665/