使用 scrapy
,我有一个蜘蛛:
class IndexSpider(scrapy.Spider):
name = "indices"
def __init__(self, *args, **kwargs):
super(IndexSpider, self).__init__(*args, **kwargs)
# set custom settings
custom_settings = {
'DOWNLOAD_DELAY': 2,
'ITEM_PIPELINES': {
'freedom.pipelines.IndexPipeline': 300
}
}
但是,当我稍后尝试通过
访问设置时 print(dict(self.settings.get('ITEM_PIPELINES')))
它们是空的。背景是我想在每个蜘蛛的基础上控制设置(和可能的管道)。
我在这里做错了什么?
最佳答案
custom_settings
应该是一个类属性:
class IndexSpider(scrapy.Spider):
name = "indices"
# set custom settings
custom_settings = {
'DOWNLOAD_DELAY': 2,
'ITEM_PIPELINES': {
'freedom.pipelines.IndexPipeline': 300
}
}
def __init__(self, *args, **kwargs):
super(IndexSpider, self).__init__(*args, **kwargs)
关于python - Scrapy 自定义设置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52294394/