我使用 Scrapy 进行 webscrapring,使用 Polipo 作为代理,使用 Tor 作为网络。 我知道我的代理会轮换 IP,但 IP 位置大部分时间不在我的国家/地区。在我抓取的网站上,考虑到 IP 的位置,它可能会出现一些阻塞。 那么,如何保持轮换IP规则并限制所使用IP的位置呢?
Scrapy版本:1.5.0,Python版本:2.7.9,Tor版本:0.3.4.8,Vidalia:0.2.21
最佳答案
您很可能知道这一点,但您正在抓取的网站的最终 ip 将看到退出节点的 ip。这样你就可以控制导出节点的国家 using configuration
您可以运行多个 Tor 设置,并根据您的请求集混合搭配或轮换 Tor 服务。
关于proxy - 如何在我的代理中设置国家/地区限制?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53281313/