我不知道这种代理服务器的正确名称是什么,欢迎您修正我的问题标题。
当我在 google 上搜索代理服务器时,很多实现如 maproxy或 a-python-proxy-in-less-than-100-lines-of-code .那些代理服务器似乎只是要求远程服务器获取某个 url 地址。
我想构建一个代理服务器,它包含一个代理池(http/https 代理列表),并且只有一个 IP 地址和一个端口来服务传入请求。当请求到来时,它会从池中选择一个代理并执行此请求,并返回结果。
例如,我有一个 IP 为“192.168.1.66”的 VPS。我在这个 VPS 上使用 IP '127.0.0.1' 和端口 '8080' 启动代理服务器。
然后我可以像下面这样使用这个代理。
import requests
url = 'http://www.google.com'
headers = {
...
}
proxies = {
'http': 'http://192.168.1.66:8080'
}
r = requests.get(url, headers=headers, proxies=proxies)
我看到了一些类似的元素:
from twisted.web import proxy, http
from twisted.internet import reactor
from twisted.python import log
import sys
log.startLogging(sys.stdout)
class ProxyFactory(http.HTTPFactory):
protocol = proxy.Proxy
reactor.listenTCP(8080, ProxyFactory())
reactor.run()
它可以工作,但它是如此简单,以至于我不知道它是如何工作的以及如何改进此代码以使用代理池。
示例流程:
来自 hidu/proxy-manager ,由 golang 编写。
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
+ client (want visit http://www.baidu.com/) +
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|
| via proxy 127.0.0.1:8090
|
V
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
+ + proxy pool +
+ proxy manager listen ++++++++++++++++++++++++++++++++++
+ on (127.0.0.1:8090) + http_proxy1,http_proxy2, +
+ + socks5_proxy1,socks5_proxy2 +
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|
| choose one proxy visit
| www.baidu.com
|
V
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
+ site:www.baidu.com +
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
最佳答案
您的代理池概念并不难实现。 如果我理解正确的话,你想做以下。
- 您的代理服务器在 192.168.1.66:8080 上的监听请求
- CLIENT 请求访问 http://www.google.com
- 您的代理服务器将客户的请求发送到另一个代理服务器, 在另一个代理服务器列表中 - 代理池。
- 您的代理服务器收到另一个代理服务器的响应,并响应客户
所以,我使用 Flask 编写了简单的代理服务器和 Requests .
from flask import Flask, Response
import random
app = Flask(__name__)
@app.route('/p/<path:url>')
def proxy(url):
""" Request to this like /p/www.google.com
"""
url = 'http://{}'.format(url)
r = get_response(url)
return Response(stream_with_context(r.iter_content()),
content_type=r.headers['content-type'])
def get_proxy():
# This is your "Proxy Pool"
proxies = [
'http://proxy-server-1.com',
'http://proxy-server-2.com',
'http://proxy-server-3.com',
]
return random.choice(proxies)
def get_response(target_url):
proxy = get_proxy();
url = "{}/p/{}".format(proxy, target_url)
# Above line will generate like http://proxy-server-1.com/p/www.google.com
return requests.get(url, stream=True)
if __name__ == '__main__':
app.run()
然后,您可以从这里开始改进您的代理服务器。
Common Proxy Pool
或 Proxy Manager
可以检查其代理的可用性、速度和更多统计信息,并选择最佳代理来发送请求。当然,这个例子只处理简单的请求,你可以添加处理请求参数、方法、协议(protocol)的特性。
希望这有帮助!
关于python - 如何在python中编写代理池服务器(请求来时,选择代理获取url内容)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33139697/