python - 如何通过 websockets 发送 pygame 图像?

标签 python image websocket pygame gevent

我目前正在尝试编写一些代码,让网站可以查看我的网络摄像头。我大致按照 this website 上链接的教程进行操作,除了使用 Python 和 pygame 而不是 Processing。

此刻,我的代码正在抓取一个 pygame 图像(最初是一个 SimpleCV 图像),试图将其转换为 jpg 格式,并通过 websockets 将其发送到客户端,它将在 img 中显示 标签。但是,我似乎无法弄清楚如何将 pygame 图像转换为 jpg 并使其在网络浏览器上正确显示。

这是我的服务器代码,它使用 Flask 和 gevent:

#!/usr/bin/env python

import base64
import cStringIO
import time

from geventwebsocket.handler import WebSocketHandler
from gevent.pywsgi import WSGIServer
from flask import Flask, request, render_template


import pygame
pygame.init()

import SimpleCV as scv

app = Flask(__name__)
cam = scv.Camera(0)

@app.route('/')
def index():
    return render_template('index.html')

@app.route('/camera')
def camera():

    if request.environ.get('wsgi.websocket'):
        ws = request.environ['wsgi.websocket']

        while True:            
            image = cam.getImage().flipHorizontal().getPGSurface()
            data = cStringIO.StringIO()
            pygame.image.save(image, data)
            ws.send(base64.b64encode(data.getvalue()))
            time.sleep(0.5)

if __name__ == '__main__':
    http_server = WSGIServer(('',5000), app, handler_class=WebSocketHandler)
    http_server.serve_forever()

这是我的 HTML 文件:

<!DOCTYPE HTML>
<html>
<head>
<title>Flask/Gevent WebSocket Test</title>
    <script src="http://code.jquery.com/jquery-1.10.1.min.js"></script>
    <script type="text/javascript" charset="utf-8">
        $(document).ready(function(){
            if ("WebSocket" in window) {
                cam = new WebSocket("ws://" + document.domain + ":5000/camera");
                cam.onmessage = function (msg) {
                    $("#cam").attr('src', 'data:image/jpg;base64,' + msg.data);
                };
                cam.onerror = function(e) {
                    console.log(e);
                }
            } else {
                alert("WebSocket not supported");
            }
        });
    </script>
</head>
<body>
    <img id="cam" src="" width="640" height="480" />
</body>
</html> 

这些是我认为我遇到问题的特定行:

while True:
    image = cam.getImage().flipHorizontal().getPGSurface()
    data = cStringIO.StringIO()
    pygame.image.save(image, data)
    ws.send(base64.b64encode(data.getvalue()))
    time.sleep(0.5)

目前,如果我尝试运行我的代码,转到 localhost:5000 将显示无效的 jpg 图像。如果我尝试在 Firefox 上运行它,它也会变得非常缓慢,但这可能是一个无关的问题,我可以稍后进行调试。

我已经检查并确保 pygame 图像是有效的,因为我是从另一个库转换它,并且还通过来回发送文本数据检查我是否正确使用了 websockets。

我也试过调用 pygame.image.to_string 尝试将 pygame 表面转换为 RGB 格式,但这也不起作用。

我做错了什么?

最佳答案

使用底层 PIL 图像,我们可以写入类似文件的对象,读回并对其进行 base-64 编码:

from geventwebsocket.handler import WebSocketHandler
from gevent.pywsgi import WSGIServer
from flask import Flask, request
from time import sleep
from cStringIO import StringIO

import pygame
pygame.init()

import SimpleCV as scv

app = Flask(__name__)
cam = scv.Camera(0)


@app.route('/camera')
def camera():

    if request.environ.get('wsgi.websocket'):
        ws = request.environ['wsgi.websocket']

        while True:
            fp = StringIO()
            image = cam.getImage().flipHorizontal().getPIL()
            image.save(fp, 'JPEG')
            ws.send(fp.getvalue().encode("base64"))
            #fp.close() << benchmark and memory tests needed
            sleep(0.5)


if __name__ == '__main__':
    http_server = WSGIServer(('',5000), app, handler_class=WebSocketHandler)
    http_server.serve_forever()

关于python - 如何通过 websockets 发送 pygame 图像?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18409464/

相关文章:

python - 为什么 ByteArray() 组合数组值? (Python)

python - 我可以避免这种繁琐的列表理解吗

java - Swing java : display jbutton and image separately on the screen

javax.websocketclient : how to send large binary data from clientendpoint to serverendpoint

javascript - 无法与 Amber 或 NPM 建立 websocket 连接,不确定是哪一个

python - 多个程序可以同时写入 STDOUT 吗?

ruby-on-rails - 用于调整大小的 ImageMagick 的替代方案

javascript - 单选按钮作为图片

javascript - 按接收顺序处理 WebSockets 消息

python - Pandas 需要一个 Str 对象但收到一个 float