linux - 如何编写bash/shell脚本以使一部分脚本同时运行然后再运行？

This question already has answers here:

Bash: limit the number of concurrent jobs?

(13个回答)

10天前关闭。

我想分别使用8 gpu进行大量实验。
因此，我需要shell脚本同时运行8个任务，并且在这8个任务完全完成之后，再运行接下来的8个任务，然后继续进行。
所以我这样写shell脚本:

python a.py --gpu=0&
python a.py --gpu=1&
python a.py --gpu=2&
python a.py --gpu=3&
python a.py --gpu=4&
python a.py --gpu=5&
python a.py --gpu=6&
python a.py --gpu=7

python a.py --gpu=0&
python a.py --gpu=1&
python a.py --gpu=2&
python a.py --gpu=3&
python a.py --gpu=4&
python a.py --gpu=5&
python a.py --gpu=6&
python a.py --gpu=7

如您所见，当“gpu”数字为7时，没有“＆”。
但是它仍然同时运行所有16个任务。
如何解决这个问题？非常感谢!

最佳答案

这个bash脚本怎么样？它为每个gpu启动一个进程(使用--gpu=0时从--gpu=7到$n_procs=8的参数)，然后等待所有进程完成。这是$n_runs的次数。

#!/bin/bash

n_procs=8  # number of processes (1 per gpu)
n_runs=2   # number of times to run the processes (modify as needed)

for i in $(seq 1 $n_runs); do
    for j in $(seq 0 $((n_procs-1))); do
        python a.py --gpu="${j}" &
        pids[${j}]=$!
    done

    # wait for all pids
    for pid in ${pids[*]}; do
        wait $pid
    done
done

关于linux - 如何编写bash/shell脚本以使一部分脚本同时运行然后再运行？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/65868067/

上一篇：python - "‘python’ : No such file or directory"when running Python file as executable

下一篇：python - 在 WSL (Ubuntu) 中为 python3 安装 venv

相关文章：

c - 用 C 程序读取文本文件导致处理器以 100% 运行

linux - Yum 更新与 Perl 包有问题

linux - 为什么会在这里得到模糊重定向的错误？

android - 什么是 Android ADB shell "dumpsys"工具，它有什么好处？

bash - Crontab 不执行 bash 脚本

c++ - 使用已编译版本的 openCV 时出错

C Unix/Linux 编程 : Which type is md_addr_t?

c++ - 我需要在另一个 ""中插入一个 ""

bash - 用于对特定文本进行加粗/下划线/斜体化的 Unix Bash 脚本

java - 如何以编程方式检查 AppEngine 应用程序版本是否已存在