python - 将 scrapy 项目部署到 scrapyd 时 HTTPCACHE 不起作用

Question

当我尝试将 HTTPCACHE 与 scrapyd 一起使用时，出现以下错误:

[scrapy] 警告:禁用 Httpcache Middlware:无法找到 scrapy.cfg 文件来推断项目数据目录

Answer 1

问题在于http缓存默认使用相对路径httpcache。

当您从命令行正常运行蜘蛛时，这有效，但当将其作为服务运行时则无效。

解决办法是设置HTTPCACHE_DIR^[docs]设置为绝对路径。