python - 如何将数据传递到scrapinghub？

Question

我正在尝试在 scrapinghub 上运行 scrapy 蜘蛛，并且我想传递一些数据。我正在使用他们的 API 来运行蜘蛛:

http://doc.scrapinghub.com/api/jobs.html#jobs-run-json

他们有一个 job_settings 选项，这似乎相关，但我不知道如何访问我的 Spider 中的 job_settings 数据> 类。这里正确的做法是什么？

Answer 1

此job_settings应直接合并到Scrapy settings ，具有更高的优先级(40，IIRC)。

Scrapy 设置可以通过蜘蛛实例的 .settings 属性访问，例如如果 self 是 scrapy.Spider 实例，则可以使用 self.settings。