google-app-engine - 有没有办法知道一组应用程序引擎任务队列任务何时完成?

标签 google-app-engine task-queue

有没有办法确定一组 Google App Engine 任务(以及它们产生的子任务)何时全部完成?

假设我有 100 个任务要执行,其中 10 个任务分别产生 10 个子任务。那是200个任务。假设这些子任务可能会递归地产生更多任务,等等......

有没有办法确定所有任务何时完成?我尝试使用 App Engine 管道 API,但它看起来并不适用于我的特定用例,尽管它是一个很棒的 AP​​I。

我的用例是我想在同时写入 blob 的同时进行一大堆速率受限的 URL 提取调用。在所有 URL 提取调用结束时,我想完成 blob。

我找到了使用管道 API 的解决方案,但它向数据存储写入了太多内容,以致于我需要多久运行一次管道,这对我来说并不划算。

最佳答案

没有办法绕过写入某种持久性存储介质,数据存储是唯一的选择。您可以编写自己的服务器来使用后端跟踪完成情况,但这对于一个简单的任务来说是一个非常大的开销。使用管道 API 是您的最佳选择。

关于google-app-engine - 有没有办法知道一组应用程序引擎任务队列任务何时完成?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9027757/

相关文章:

python - 帮助进行数据存储查询

database - Google App Engine 数据库查看器/浏览器?

python - 如何在谷歌应用程序引擎中将后台任务带到前台?

java - 如何以编程方式创建和暂停 Google App Engine 任务队列

google-app-engine - 在 Google Compute Engine 中访问任务队列和 Google Datastore

python - 从任务队列中按名称获取任务

google-app-engine - 无法连接到本地数据存储

google-app-engine - 何时选择 App Engine 而不是 Cloud Functions?

python - 任务扇出 - 如何将任务批量添加到队列 - 超过 5

java - 与 App Engine 兼容的 JDBC 连接池