scrapy - 如何在 scrapy Shell 中使用 scrapy 中间件?

标签 scrapy middleware scrapy-shell

在一个 scrapy 项目中,人们经常使用中间件。在交互式 session 期间是否也有一种通用方法可以在 scrapy shell 中启用中间件?

最佳答案

尽管如此,在 setting.py 中设置的中间件在 scrapy shell 中默认启用。您可以在运行 scrapy shell 时在日志中看到它。

所以要回答您的问题,是的,您可以使用此命令来完成。

scrapy shell -s DOWNLOADER_MIDDLEWARES='<<your custom middleware>>' 

You can override settings using the -s parameters.

请记住,只需在包含 scrapy 项目的文件夹中运行 scrapy shell。 它将从 settings.py 加载默认设置。

快乐抓取:)

关于scrapy - 如何在 scrapy Shell 中使用 scrapy 中间件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72927851/

相关文章:

当 python 脚本作为 systemd 服务运行时,Python Popen 无法识别 scrapy

scrapy - 如何在 scrapy 中使用 python 请求?

python - 值错误: Missing scheme in request url: h 5

python - 抓取项目列表并将其合并到一个属性中

python - Scrapy 是否可以从原始 HTML 数据中获取纯文本?

node.js - nodeJS (express,connect) - 在当前流中动态添加中间件

django - 如何在 Django 中间件中设置 cookie?

python - 在中间件中导入 HttpResponseRedirect

python - 如何获取该页面中每个广告的数据?

web-scraping - 抓取错误 : 'NotSupported: Unsupported URL scheme ' ': no handler available for that scheme'