python - python中的并行API请求

标签 python http concurrency urllib2

我希望实现此处建议的线程解决方案:What is the fastest way to send 100,000 HTTP requests in Python?

我的问题是,如果我在进行 URL 调用后“做某事”是将新行附加到列表(使用 data.append)——这会导致任何问题吗?

此外,我还将使用 Python 2 并使用 urllib2——如果是 urllib2 而不是 httplib,推荐的解决方案是否会完全改变?

最佳答案

由于您正在尝试实现 IO 绑定(bind)操作,我建议您使用 gevent .这是 example .

或者使用this回答。 Gevent 不仅支持 Python 2 和 Python 3,还支持 PyPy,它也可以加速你的程序。

关于python - python中的并行API请求,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36439245/

相关文章:

使用 SQL 插入查询的 Python 3 导致错误 "column count doesn' t 行匹配值计数”

python - 使用 opencv 和 python 从具有可变帧速率的 IP 摄像机录制视频

java - Apache HttpCore,用于回显接收到的发布数据的简单服务器

javascript - 从 ngInit 在 AngularJS 中全局设置自定义 HTTP header

python - 如何在不知道标签/类的情况下使用搜索词来抓取网页?

python - 如何在没有错误 :list index out of range 的情况下检查列表

scala - http4s 每个请求收到 2 个过早的 EOF 错误

java - 我应该始终使我的 java 代码线程安全,还是出于性能原因仅在需要时才这样做?

go - 调用runtime.Gosched()与从 channel 接收之间用法上的区别?

ios - 关于 Metal 中线程组内存的问题