list - curl 并并行获取 100 个 URL

标签 list url curl xargs

猫 urllist.txt | xargs -P0 -n1 curl | xargs -P0 -n1 grep "HREF="> out.txt

这工作正常,但它同时连接一个网址。如何同时curl 100个url?

最佳答案

不要使用 xargs,而是使用 parallel去做吧。它与 xargs 非常相似,但并行启动命令 - 因此得名...

关于list - curl 并并行获取 100 个 URL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15825162/

相关文章:

python - 创建一个字典列表,每一步仅修改一个值

php - 未捕获的 CurlException : 35: Unknown SSL protocol error in connection to graph. facebook.com:443

php - 在 PHP 中解析 XML 提要

python - curl 截断查询字符串的部分?

c# - 如何制作可滚动的文本框列表?

用虚拟图替换 ggplots 列表中的 NA

python - Pandas 数据框拆分并获取列表的最后一个元素

url - URL中的冒号是什么意思?

java - 从短信中提取 URL

validation - 确保 URI 有效