python - 使用 GNU parallel 并行化 bash for 循环

Question

我有一个 for 循环，它在 100 个不同的输入文件夹上运行 Python 脚本约 100 次。 python 脚本在 2 个内核上效率最高，我有 50 个内核可用。所以我想使用 GNU parallel 一次在 25 个文件夹上运行脚本。

这是我的 for 循环(工作正常，但当然是顺序的)，python 脚本采用一堆输入变量，包括在两个内核上运行它的 -p 2:

for folder in $(find /home/rob/PartitionFinder/ -maxdepth 2 -type d); do
        python script.py --raxml --quick --no-ml-tree $folder --force -p 2
done

这是我对其进行并行化的尝试，但行不通:

folders=$(find /home/rob/PartitionFinder/ -maxdepth 2 -type d)

echo $folders | parallel -P 25 python script.py --raxml --quick --no-ml-tree {} --force -p 2

我遇到的问题(也许这只是众多问题中的第一个)是我的 folders 变量不是列表，所以它实际上只是传递一长串 100 个文件夹作为 {} 到脚本。

感谢收到所有提示。

Answer 1

替换 echo $folders |并行... 与 echo "$folders"|并行...。

如果没有双引号，shell 会解析 $folders 中的空格并将它们作为单独的参数传递给 echo，从而使它们打印在一行上。 parallel 提供每一行作为作业的参数。

为了完全避免此类引用问题，最好将 find 直接通过管道传递给 parallel，并使用空字符作为分隔符:

find ... -print0 | parallel -0 ...

即使遇到包含多个空格或换行符的文件名，这也会起作用。