通过搜索如何在 scrapy 中使用代理,我主要找到了需要我使用某种中间件的解决方案。有没有办法让 Spider.py 文件在执行请求时处理代理本身?例如,在Python请求库中,您可以在创建请求时添加代理参数,使用scrapy时是否有类似的东西?
最佳答案
不使用中间件?不,这就是中间件的意义!然而 scrapy 有内置的中间件,你不需要下载或启用任何东西。
您可以通过 meta
属性中的 proxy
键为任何单个请求设置代理:
Request('someurl', meta={'proxy': 'http://some_proxy_server:port'})
关于python - 有没有一种方法可以在不使用中间件的情况下使用 scrapy 代理?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44896569/