猫 urllist.txt | xargs -P0 -n1 curl | xargs -P0 -n1 grep "HREF="> out.txt
这工作正常,但它同时连接一个网址。如何同时curl 100个url?
最佳答案
不要使用 xargs,而是使用 parallel去做吧。它与 xargs 非常相似,但并行启动命令 - 因此得名...
关于list - curl 并并行获取 100 个 URL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15825162/