python - 有没有一种方法可以在不使用中间件的情况下使用 scrapy 代理?

标签 python proxy scrapy

通过搜索如何在 scrapy 中使用代理,我主要找到了需要我使用某种中间件的解决方案。有没有办法让 Spider.py 文件在执行请求时处理代理本身?例如,在Python请求库中,您可以在创建请求时添加代理参数,使用scrapy时是否有类似的东西?

最佳答案

不使用中间件?不,这就是中间件的意义!然而 scrapy 有内置的中间件,你不需要下载或启用任何东西。 您可以通过 meta 属性中的 proxy 键为任何单个请求设置代理:

Request('someurl', meta={'proxy': 'http://some_proxy_server:port'})

结账 HttpProxyMiddleware

关于python - 有没有一种方法可以在不使用中间件的情况下使用 scrapy 代理?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44896569/

相关文章:

html - 使用 xpath 选择内部带有图像的链接的 href

python - 如何使用 pydaemon 指定守护进程的名称

Python 可选参数对

python - 如何将列表拆分为由分隔符确定的 block ?

c# - 如何为表单中的每个 WebBrowser 控件设置不同的代理 - 所有可能的方法

apache - Apache 上的反向代理(适用于 QNAP)

python - 如何使用 Mechanize 从表的最后一列(该行包含某些单词)中提取 URL

android - 如何强制 webkit 在 Android 中使用系统 APN 代理?

python - Scrapy - 如何根据抓取项目中的链接抓取新页面

python - 完成一个约会,然后再进行另一个约会