python - Scrapyd:如何设置scrapyd任务优先级?

标签 python scrapy web-crawler scrapyd

我有几个 scrapy 项目。我用 scrapyd 部署了所有这些。有些蜘蛛速度慢,有些速度快。现在,我想先运行快速蜘蛛。怎么办?

最佳答案

我遇到了同样的问题。但是看了scrapyd的源码,好像scrapyd可以搞定。然而,这没有记录在案。

您需要添加一个名为 priority 的参数,并具有所需的值。默认优先级为 0。

例如:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1

关于python - Scrapyd:如何设置scrapyd任务优先级?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18866890/

相关文章:

python - Scrapy 荣誉 rel=nofollow

mongodb - 使用Grails和MongoDB的Web爬网程序的示例域类?

Python 旋转文件处理程序不旋转

Python Pandas 基于列分组并获取最大值,但基于另一列排除

firefox - 在 Firefox 57 DevTools Inspector 中通过 XPath 搜索元素

Java-递归获取目录和子目录中的所有文件

python - Shopify Python API GET 产品的元字段

python - pickle 剥削

python - 如何让 Scrapy 在日志中根据下载请求显示用户代理?

python - 名称错误 : name 'Rule' is not defined in python scrapy