python - 最大 GAE任务队列处理率

标签 python google-app-engine task-queue

问题:

  1. 每个任务队列是否可以每秒处理超过 500 个任务?
  2. 每个 GAE 应用是否可以每秒处理超过 50,000 个任务?

详细信息:

Task queue quota文档说:

Push Queue Limits
Queue execution rate: 500 task invocations per second per queue

Combined Limits (Push and Pull Queues)
Maximum number of active queues (not including the default queue) >
Free apps: 10 queues, Billed apps: 100 queues

500 * 100 = 50.000

我正在将我们的 GAE 应用推向极限,我的目标是达到每秒处理超过 100,000 个请求。

有可能:
http://googlecloudplatform.blogspot.com/2013/12/013-year-in-review-topping-100000-requests-per-second.html

我不知道他们是否使用了任务队列。

感谢您提供任何提示!

最佳答案

如果使用推送队列,这两个问题的答案都是,即 the task queue quotas

如果使用拉动队列并且您不超过其他配额,您可以走得更高 - 拉动队列没有执行速率限制(这实际上取决于工作线程配置/可扩展性)

正如 Josh 所说,本文指的是 Web 请求,而不是任务队列请求。 100k rps 恰好是该特定应用程序的最高测量速率,并不意味着它不能做得更好。

对网络请求的实际成功响应率可能会受到 the safety or billing limits/quotas 的限制。强加于您的应用程序在构建对这些请求的响应时使用的各种基础设施。 GAE 通常仍然响应额外的请求,但会出现错误响应(好吧,如果也达到了传出带宽配额,则可能不会)。

但是,如果您的应用程序不使用任何具有配额的基础设施(例如,如果它仅提供静态内容),则其响应率仅受 the requests quotas 的限制。 ,对于计费应用程序而言,这意味着 10 GB/分钟的传出带宽。比如说,如果您的静态内容响应有 1K,则相当于约 174k rps,如果它们只有 100 字节,则最大值将高达约 1.747.000 rps。等等。

如您所见,应用的功能、设计和实现以及您愿意花费的资金对于您在 GAE 上实现的性能非常至关重要。

关于python - 最大 GAE任务队列处理率,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32746431/

相关文章:

python - 当 python 使用 "Python.h"调用该 c++ 进程时,如何在 python 中停止 c++ 进程

python - 在运行时修改小部件颜色而不覆盖样式表

java - AppEngine 突然出现 503 错误

perl - Perl 的排队系统

python - Pandas 数据框 : Split multiple columns each into two columns

python - Pandas:使用来自另一个数据框的值分配值

python - 获取有关 Python App Engine 中静态文件的信息;解决方法

java - Grails + GAE - 使用 app.servlet.version=2.5 的问题

python - GAE - 将任务添加到队列的最快方法是什么?为什么这看起来这么慢?

java - 使用 Java 的应用程序引擎 : Deferred tasks ignoring retry limit