proxy - 如何在我的代理中设置国家/地区限制?

标签 proxy scrapy ip tor polipo

我使用 Scrapy 进行 webscrapring,使用 Polipo 作为代理,使用 Tor 作为网络。 我知道我的代理会轮换 IP,但 IP 位置大部分时间不在我的国家/地区。在我抓取的网站上,考虑到 IP 的位置,它可能会出现一些阻塞。 那么,如何保持轮换IP规则并限制所使用IP的位置呢?

Scrapy版本:1.5.0,Python版本:2.7.9,Tor版本:0.3.4.8,Vidalia:0.2.21

最佳答案

您很可能知道这一点,但您正在抓取的网站的最终 ip 将看到退出节点的 ip。这样你就可以控制导出节点的国家 using configuration

您可以运行多个 Tor 设置,并根据您的请求集混合搭配或轮换 Tor 服务。

关于proxy - 如何在我的代理中设置国家/地区限制?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53281313/

相关文章:

python - Scrapy 不遵循下一个解析函数

python - 需要用scrapy抓取表

python - Scrapy,如何提取h3内容?

c - 如何在Linux中使用SOCK_RAW接收IPv4数据包?

java - Spring MVC 转发到另一个 URL

amazon-web-services - AWS Ubuntu 实例作为代理

docker - 我没有让 Keycloak 在 Traefik 后面的 docker 中工作

php - preg_replace() : No ending matching delimiter '>'

ruby-on-rails - 如何检查字符串中的值是否为 IP 地址

c++ - 计算构成给定 IP 范围的子网列表