google-cloud-run - Google Cloud Run 有一天会支持 GPU/TPU 吗？

Question

到目前为止，Google Cloud Run 支持 CPU。有支持GPU的计划吗？如果 GPU 可用，那就太酷了，然后我可以演示 DL 项目，而无需真正运行 super 昂贵的 GPU 实例。

Answer 1

So far Google Cloud Run support CPU. Is there any plan to support GPU? It would be super cool if GPU available, then I can demo the DL project without really running a super expensive GPU instance.

我严重怀疑。 GPU/TPU 是专用硬件。 Cloud Run 是一项托管容器服务，它:

使您能够运行可通过 HTTP 请求调用的无状态容器。这意味着不支持 CPU 密集型应用程序。在 HTTP 请求/响应之间，CPU 空闲到接近零。您昂贵的 GPU/TPU 会闲置。

根据每秒请求数自动缩放。在几秒钟内启动 10,000 个实例很容易实现。想象一下，如果客户可以推出那么多 GPU/TPU 和账单大小，那么 Google 的计费支持噩梦。

以 100 毫秒的时间间隔计费。大多数请求适合几百毫秒的执行。这不是 CPU/GPU/TPU 集成的良好执行或商业模式。

提供一种计费模型，可在不使用时将 Web 服务的成本显着降低至接近于零。您只需支付存储容器镜像的费用。当在服务 URL 处接收到 HTTP 请求时，容器镜像被加载到执行单元中并恢复处理请求。一旦请求停止，计费和资源使用也会停止。

GPU/TPU 类型的数据处理最好由后端实例提供，这些实例保护和管理这些处理器设备提供的处理能力和成本。