windows - 并行运行带有循环变量的命令，最多同时运行 N 个

Question

我的服务器上有三千个文件。我可以通过 REST API 调用一次检索一个。我写了一个命令来检索这些文件。它运行完美，但在大约 200 次下载后我的登录超时。

我想并行而不是串行下载所有这些文件。理想情况下，我想一次检索 1-200 个文件，同时检索 200-400 个文件，同时检索 400-600 个文件......等等。

所以我的尝试:

FOR /L %i in (0,1,200) do wget --no-check-certificate --content-disposition  --load-cookies cookies.txt \ -p https://username:password@website.APICall.com/download/%i

如何将其转换为我想要创建的并行调用？

谢谢。

Answer 1

安装 Cygwin 和 GNU Parallel 后，您可以使用以下命令下载 3000 个文件以及 200 个并行下载:

seq 3000 | parallel -j 200 wget --no-check-certificate --content-disposition  --load-cookies cookies.txt -p https://username:password@website.APICall.com/download/{}