我正在尝试使用 scrapy 抓取网站列表。我尝试将网站网址列表作为 start_urls，但后来我发现我无法承受如此多的内存。有没有办法设置scrapy一次抓取一个或两个网站？
最佳答案
您可以尝试使用concurrent_requests = 1，以免数据过载
http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-requests
关于python - 用scrapy一一爬取网站列表，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14297011/