我正在使用 python scrapy 包。有没有办法在蜘蛛运行时更新 scrapy 蜘蛛设置？我尝试了 telnet 控制台并通过以下方式更新设置:
settings.set('AUTOTHROTTLE_ENABLED', False)
当我启动蜘蛛时，“AUTOTHROTTLE_ENABLED”为 True。然而，执行上述命令后，蜘蛛的行为并没有改变。我错过了什么？谢谢!
最佳答案
Scrapy 设置在引擎启动时加载，并且无法即时更改。
我不确定您想要实现什么目标，但您应该考虑调整 download_delay spider attribute在飞行中。
此外，调查 autothrottle extension source code可以帮助您想出更多选择。
关于python - 运行时更新 scrapy 蜘蛛，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27624778/