python - 使用 Django 提供许多即时生成的图像

Question

类似于空间图像数据的切片服务器，我想在基于 Django 的 Web 应用程序中查看许多动态生成的图像(合并图像、颜色变化等)。由于一个客户端可以在短时间内轻松请求许多(>100 张)图像，因此很容易使 Web 服务器(Apache + mod_wsgi)宕机。

因此，我正在寻找替代方法。由于我们已经使用了 Celery，因此异步执行此图像处理并将生成的数据推送到客户端可能是个好主意。首先，我将 WSGI 服务器切换为 gevent，并使用 Apache 作为代理。但是，我还没有设法使推送工作正常进行，而且我不太确定这是否是正确的方向。基于此，我有三个问题:

1. 您认为这(Celery、gevent、Socket.IO)是允许许多客户端在不关闭 Web 服务器的情况下使用该应用程序的明智方法吗？你看到替代品了吗？

2. 如果我将图像处理交给 Celery 并让它在完成后将图像数据推送到浏览器，连接将不会通过 Apache，对吧？

3. 如果使用某种推送到客户端的方式，是使用一个连接还是为每个图像使用一个连接(并在完成后关闭它)更好？

背景:

我正在开发的 Django 应用程序允许用户显示非常大的图像。这是通过在之前平铺大图像并仅向用户显示网格中当前相关的图 block 来完成的。据我了解，这是在 map 和空间图像数据(例如 OpenStreetMap)领域提供数据的标准方式。但与 map 数据不同的是，我们在 Z 中也有许多切片，用户可以滚动浏览(生物图像)。

当静态提供图 block 时，所有这些工作正常。现在我添加了动态生成这些图 block 的选项——不同的图像被合并、颜色校正……。这可行，但对于 Web 服务器来说是一些沉重的负载，因为生成一张图像大约需要 0.1 秒。目前我们将 Apache 与 mod_wsgi (WSGIRestrictedEmbedded On) 一起使用，很容易使服务器宕机。仅浏览图像堆栈将导致 Web 服务器挂起。我已经尝试调整 MaxClients 等并关闭 KeepAlive。我还为 mod_wsgi 尝试了不同的线程/进程组合。但是，没有任何帮助足以让多个用户使用。因此，我认为 Comet/WebSocket 方式可以提供帮助。

Answer 1

All this works fine when the tiles are statically served. Now I added the option to generate those tiles on the fly -- different images are merged, color corrected, …. This works, but is some heavy load for the web server as one image takes about 0.1s to be generated.

您需要一个负载平衡器，将图像请求发送到前端服务器(例如 NginX)，该服务器将根据需要多路复用(和缓存!)尽可能多的请求，前提是您提供足够的后端服务器来完成繁重的工作。

这看起来像是 Amazon 分布式计算的经典案例:您可以将切片存储在 S3 存储中(或者可能是 EBS 上的 NFS)。所有图像处理服务器都从单个图像存储库获取数据。

一开始，您可以在同一台机器上同时拥有 Web 应用程序和图像处理服务器的一个实例。但基本上你的流程是三个:

• 计算图像 URL 的 Web 服务(您需要某种方法将操作编码为 URL 中的参数，否则您将不得不使用 cookie 和 session 存储，这比较麻烦)
• 接收“图像公式”并提供 JPEG 图 block 的图像服务器
• 允许访问大图像或单个原始图 block 的文件服务器

我在几个这样的架构中工作过，其中我们的图像层存储在一个图像文件中(例如，五个缩放级别，从 FIR 到 UV 的每十五个 channel ，总共 75 个“图像”，高达 100K 像素)侧，客户端可以请求“缩放级别 2，红色 channel 加上 UV-1 channel 和绿色 channel 之间差异的两倍，从 X=157、Y=195 到 X=167、Y=205 的平铺”)。