我有一个包含多个批处理文件的目录“batches”:
one.txt
two.txt
...
seventy.txt
这些文件中的每一个都需要由 python 脚本处理为:
python processor.py --inputFile=batches/one.txt
我目前的实现是这样的:
for f in batches/$f
do
python processor.py --inputFile=batches/$f
done
我有数百个批处理,因此并行运行所有批处理
python processor.py --inputFile=batches/$f &
不可行。
但是,我认为一次运行 ~10 应该不是问题。
我知道语法
{
python processor.py --inputFile=batches/batchOne.txt
python processor.py --inputFile=batches/batchTwo.txt
} &
{
python processor.py --inputFile=batches/batchThree.txt
python processor.py --inputFile=batches/batchFour.txt
}
应该给我一个类似于我想要的结果。但是,有没有更好的解决方案?基本上,给定一个命令模板,在我的例子中
python processor.py --inputFile=batches/$1
还有一个批处理列表,我想控制同时执行的批处理数。
我正在使用 Ubuntu Linux。
最佳答案
尝试这样做以运行 10//执行:
parallel -j 10 command_line
安装
sudo apt-get install parallel
关于python - 在 bash 中运行并行命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48756915/