google-app-engine - Google App Engine 中的实例延迟

Question

我正在运行一个免费的应用程序，并使用 GAE 的 Python 运行时最多使用 1 个空闲实例。

根据 http://code.google.com/appengine/docs/adminconsole/instances.html ,

Your application's latency has the biggest impact on the number of instances needed to serve your traffic. If you service requests quickly, a single instance can handle a lot of requests.

这似乎表明最好将“应用程序设置”中的 slider 调整到最小延迟。

然而，根据http://code.google.com/appengine/docs/adminconsole/performancesettings.html#Setting_the_Minimum_Pending_Latency ,

似乎具有高延迟有助于防止负载峰值启动新实例。

那么延迟基本上是响应请求峰值的能力(高延迟)与在给定时间段内处理的请求数量(低延迟)之间的权衡吗？

Answer 1

“待定延迟”是指在 App Engine 决定启动另一个实例之前，请求可以在队列中停留多长时间。如果在请求到达时您的所有应用程序实例都处于忙碌状态，则该请求将在队列中等待下一个可用实例处理。如果超出最小值，App Engine 可能会决定启动一个新实例来处理请求。 (您还可以调整最大挂起延迟设置。)

最小挂起延迟是可配置的，因为启动新实例需要时间和金钱。较大的最小挂起延迟意味着 App Engine 将在启动新实例之前更长时间地保留挂起请求(并让它们等待)，有利于实例成本来处理更多流量的能力。较小的最小挂起延迟意味着 App Engine 将在流量增加时更频繁地启动新实例。

术语“延迟”仅指您的应用响应请求所需的时间。您的应用响应请求的速度越快，单个实例可以处理的请求就越多，请求队列通常也会越短。较低的延迟总是好的，但这取决于应用程序是否可以快速执行它需要执行的操作。