ruby-on-rails - Puma 可以同时缓冲多少个请求？

Question

我了解 Puma 相对于其他 Rails Web 服务器的优势在于它处理慢速客户端的方式。当 Puma 服务器接收并下载一个(可能很慢的)请求时，它仍然可以接收和下载其他可能下载速度更快的请求，并在慢速请求完成接收之前传递给 worker 进行处理。

但我找不到任何关于此限制的信息(如果有的话)。

Puma 可以同时下载任意数量的请求吗？如果同时有 1000 个慢速请求命中它，假设它不是慢速请求，第 1001 个请求会首先到达 Puma worker 吗？

我想我通常感兴趣的是多个慢速请求对其他请求(包括彼此)的影响 - 因为我正在开发一个可能涉及大量“慢速请求”(从手机上传图片)的应用程序通过 3G)。

This great article @nate-berkopec 在原则上帮助解释了 Puma 如何帮助慢速客户端:“在集群模式下，Puma 可以处理慢速请求(多亏了一个单独的主进程，它负责下载请求并传递它们)。” 。”任何人都可以提供更多的信息，我们将非常欢迎。

Answer 1

有很多考虑因素，例如 IO 轮询系统、内存和并发问题。

IO轮询系统

编辑(2020 年 9 月 9 日):此时 Puma 服务器正在 nio4r 上运行，不应再受到 的限制select 系统调用(其中文件描述符值限制为 1023)。

据我所知，Puma 使用 select 系统调用(与 iodine 或 passenger 不同，iodine 或 passenger 也可以保护您免受慢速客户端的影响，但使用 kqueue 或 epoll )。

select 系统调用在大多数系统上都有限制(通常最多 1024 个客户端/maxfd)。我认为这会产生一个限制。

但是，我知道 Puma 正在努力用既便携又有效的东西(例如利用 nio4r gem)替换 select 系统调用。

我不知道这是否已经实现，但它会打破这个限制并可能提高性能。

内存

慢速客户端仍然消耗内存，因为它们用 header 数据慢慢填充缓冲区或缓慢下载已发送的缓冲数据(将缓冲区保留在内存中直到下载完成)。

内存限制总是会增加对缓慢客户端处理的限制。

可以提高一些限制，例如使用 X-Sendfile 发送静态文件(支持 iodine，以及当 Puma 或 passenger 在 nginx 下运行时)...但这不是您可以解决的问题。

并发

Puma 在 Ruby 的 GIL(全局指令锁)中处理慢速客户端。这意味着当 Puma 处理慢客户端时，没有其他线程/指令可以执行。

这通常不是问题，但是足够多的慢速客户端会增加上下文切换和系统调用的成本。这可能(可能)显着降低服务器速度。

Passenger 和 iodine 都在 GIL 之外执行缓慢的客户端缓冲，允许这些系统调用真正并发(当多个 CPU 内核可用时)。

这会缓解问题，但不会完全解决问题。

结论和注意事项

最大的问题通常是 IO 轮询系统。 Puma 的路线图上有一个解决方案(可能已经实现，我不确定)。

其他问题(内存限制和并发限制)相对不太重要，但如果不使用语言扩展(iodine server 是用 C 编写的，Passenger 是用 C++ 编写的)则无法缓解这些问题。

由于 Puma(目前)不需要任何语言扩展(除了它在 C 和 Java 中集成的 HTTP 解析器)，这些问题仍然存在。

我应该指出，我是 iodine HTTP/Websocket 服务器的作者，所以我有些偏见。