我有几个 scrapy 项目。我用 scrapyd 部署了所有这些。有些蜘蛛速度慢,有些速度快。现在,我想先运行快速蜘蛛。怎么办?
最佳答案
我遇到了同样的问题。但是看了scrapyd
的源码,好像scrapyd可以搞定。然而,这没有记录在案。
您需要添加一个名为 priority
的参数,并具有所需的值。默认优先级为 0。
例如:
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1
关于python - Scrapyd:如何设置scrapyd任务优先级?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18866890/