bash - 需要裁剪+调整 ~300000 个文件。运行时间 = 4 天以上。我怎样才能加快我的 bash 脚本？

Question

我正在制作视频延时摄影。我拍摄的所有照片都是以 4:3 纵横比拍摄的 .jpg 图片。 2592x1944 分辨率。我希望它们在 1920x1080 下都是 16:9。

我已经写了一个小脚本来做这个，但是这个过程不是很快。我花了大约 17 分钟来裁剪和调整 750 张图像。我总共要处理大约 300,000 个，然后可能会分批处理大约 50,000 个。即每批 18 小时 45 分钟，总计算时间超过 4.5 天。

那么有人知道我可以加速这个程序的方法吗？

这是我写的 bash 脚本:

#!/bin/bash  

mkdir cropped

for f in *.JPG
do
    convert $f -resize 1920x1440 -set filename:name '%t' cropped/'%[filename:name].JPG' #Resize Photo, maintain aspect ratio
    convert cropped/$f -crop 1920x1080+0+$1 -set filename:name '%t' cropped/'%[filename:name].JPG' #Crop to 16:9 aspect ratio, takes in $1 argument for where to begin crop
done

echo Cropping Complete!

在循环中的每一行前后放置一些 echo 命令表明调整大小比裁剪花费更多的时间，我想这并不奇怪。我试过使用 mogrify -path cropped -resize 1920x1440! $f 代替 convert $f -resize 但速度似乎没有太大差异。

那么，有什么方法可以加快运行时间吗？

奖励积分如果你能告诉我一个简单的方法来简单地指示程序运行的进度(比如“750 个文件中的 421 个，完成 56.13%”)。

额外奖励积分 如果您可以添加命令以从每个帧输出 .mp4 文件，该文件可以在 SONY Vegas 等软件程序中进行编辑。我已设法使用 mencoder 从这些照片制作视频文件 (.avi)，但生成的视频无法在我尝试过的任何视频编辑器中使用。

Answer 1

我想到了一些事情......

首先，不要为每张图片启动 ImageMagick 两次，一次调整大小，一次裁剪，因为这两个操作应该可以一次完成。所以，我只做一个

，而不是你的两个 convert 命令

convert image.jpg -resize 1920x1440 -crop 1920x1080+0+$1 cropped/image.jpg

其次，我没有看到你在用 set 命令做什么，一些带有文件名的东西，但你可以在 shell 中这样做。

第三，我建议您使用 GNU Parallel(我每天经常用它处理超过 65,000 张图像)。它易于安装，并确保您购买的所有可爱的 CPU 核心都保持忙碌。最简单的使用方法是，不用运行命令，只需回显它们并将它们通过管道传输到 parallel

#!/bin/bash  
mkdir cropped

for f in *.jpg
do
   echo convert \"$f\" -resize 1920x1440 -crop 1920x1080+0+$1 cropped/\"$f\"
done  | parallel

echo Cropping Complete!

最后，如果你想要一个进度表，或者指示完成了多少和还剩下什么，请使用 --eta 选项(eta=Estimated Time of Arrival)到 parallel 它会告诉您有多少作业以及剩余的时间。

当您对 parallel 有信心时，您可能会像这样运行整个过程:

parallel --eta convert {} -resize 1920x1440 -crop 1920x1080+0+32 cropped/{} ::: *.jpg

我创建了 750 张与您的大小相同的图像并以这种方式运行它们，我的中等规范 iMac 需要 55 秒来调整大小和裁剪批处理 - YMMV。请添加评论并说明您的进展情况 - parallel 的处理时间有多长。