python - 从 WebSocket 提取数据的最快方法

Question

我面临的问题是，我试图从单个 WebSocket 中提取小数据包中的高频数据，然后将其推送到我的 AWS Kinesis Steam 进行处理。我正在使用 Python v3.6。

目前，我正在使用 python 同步 Web 套接字库 websocket-client，并且在拉取和推送到我的 Stream 时没有任何问题。

使用 WebSockets 库进行异步套接字会更好吗？我担心WebSocket请求的循环结构中的阻塞可能是一个瓶颈。

while True:
    session = boto3.Session(aws_key, aws_secretkey)
    kinesis = session.client('kinesis', region_name='us-east-1')
    conn = ws.create_connection(url, sslopt={"cert_reqs": ssl.CERT_NONE})
    count = 0
    data = []
    try:
        while True:
            msg = json.dumps(json.loads(conn.recv())['data'])
            data.append({'Data':msg, 'PartitionKey':'trade'})
            count += 1
            if count == 100:
                kinesis.put_records(StreamName = 'Binance_Stream', Records = data)
                count = 0
                data = []
                print('100 msg posted')
    except (ws.WebSocketConnectionClosedException, SQLAlchemyError) as e:
        print('Connection Error: ' + e)

Answer 1

并行运行 websocket 客户端的最简单方法是利用 Python 库 Gevent .

这将使您能够并行运行客户端，而无需(过多)接触现有代码。您只需要管理 Greenlets(某种线程，但更安全、更易于处理，强烈建议用于 IO 操作)。