您如何在 python 网络抓取框架 Scrapy 中利用代理支持？
最佳答案
来自 Scrapy FAQ ,
Does Scrapy work with HTTP proxies?
Yes. Support for HTTP proxies is provided (since Scrapy 0.8) through the HTTP Proxy downloader middleware. See
HttpProxyMiddleware.
使用代理最简单的方法是设置环境变量http_proxy。如何做到这一点取决于你的 shell。
C:\>set http_proxy=http://proxy:port csh% setenv http_proxy http://proxy:port sh$ export http_proxy=http://proxy:port
如果你想使用 https 代理并访问 https 网页，设置环境变量 http_proxy 你应该遵循以下，
C:\>set https_proxy=https://proxy:port csh% setenv https_proxy https://proxy:port sh$ export https_proxy=https://proxy:port
关于python - Scrapy 和代理，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4710483/