我的 scrapy 爬行速度很慢(大约 1 页/秒)。 我正在从 aws 服务器抓取一个主要网站，所以我认为这不是网络问题。 CPU 利用率远未接近 100，如果我启动多个 scrapy 进程，爬网速度会快得多。
Scrapy 好像爬了一堆页面，然后挂了几秒，然后重复。
我试过玩: CONCURRENT_REQUESTS = CONCURRENT_REQUESTS_PER_DOMAIN = 500
但这似乎并没有真正让指针超过 20。
最佳答案
您确定允许高速抓取目标站点吗？许多网站实现下载阈值，“一段时间后”开始响应缓慢。
关于python - Scrapy 爬取速度慢(60 页/分钟)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13505194/