运行 scrapy 时收到此警告:
[scrapy] WARNING: Disabled HttpCacheMiddleware: Unable to find scrapy.cfg file to infer project data dir
最佳答案
你的scrapy.cfg文件在哪里？你是从命令行运行的吗？如果是这样，您应该从与 scrapy.cfg 相同的目录运行。
您的项目目录是什么样的。它应该看起来像:
.
├── dirbot
│ ├── __init__.py
│ ├── items.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ ├── dmoz.py
│ └── __init__.py
├── README.rst
└── scrapy.cfg
更新
如果您使用cron，请尽量不要(即不要)使用root 用户。您可以将 PATH 信息直接添加到 crontab 中:How to get CRON to call in the correct PATHs
PATH=/usr/local/sbin:...:/absolute/path/to/my/scrapy/project
关于python - Scrapy 警告禁用 HttpCacheMiddleware，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15746537/