kubernetes - Kubernetes 中的自定义负载均衡

Question

我们正在开发一款模拟软件，该软件可以使用 kubernetes 在多个 Pod 之间部署和扩展。 当用户发出模拟请求时，会选择一个 pod，该 pod 开始执行工作并被视为繁忙。 当另一个用户发出模拟请求时，它应该被路由到下一个空闲的 Pod。 目前，经常会选择繁忙的 pod(即使有空闲的 pod)，因为 kubernetes 不知道哪些 pod 繁忙/空闲。

是否可以通过始终选择空闲 Pod 的方式来平衡请求？ (假设 Pod 内的每个应用程序实例都公开一个 HTTP 端点，该端点告知其当前的繁忙/空闲状态)

Answer 1

我认为你可以利用readiness probes :

Sometimes, applications are temporarily unable to serve traffic. For example, an application might need to load large data or configuration files during startup, or depend on external services after startup. In such cases, you don't want to kill the application, but you don't want to send it requests either. Kubernetes provides readiness probes to detect and mitigate these situations. A pod with containers reporting that they are not ready does not receive traffic through Kubernetes Services.

您可以使应用程序响应具有非 200 返回代码的探测请求。将会注意到，在就绪探测再次成功之前，不会传入任何新请求。但也有缺点:

• 当所有 Pod 都忙时，您会收到 502 错误；
• 用户将无法向其 pod 提交后续请求(因为 pod 会很忙)；
• 更改就绪状态需要一些时间，因此如果您在短时间内(探测间隔)收到大量请求(超过 Pod 数量)，某些 Pod 可能会接受多个请求。