python - 从 App Engine 经济地删除数据

标签 python google-app-engine

我有一个流行的社交游戏,为此我将每个用户操作作为一个事件实体存储在数据存储中,然后每天一次从 GAE 导出这些事件进行处理。现在我想从数据存储中删除所有这些实体,全部 3 亿个。

为此,我开始使用“数据存储管理”。在我让它运行的最初几个小时内,它设法删除了大约 200 万个实体并使用了 10 美元的 CPU 来执行此操作。因此,似乎仅运行此删除操作就要花费 1500 美元。我开始认为我最好删除整个应用程序并将我不想删除的项目复制到新应用程序。

还有其他选择吗?

更新

我在 IRC 的#appengine 上得到了一些建议,即一次简单地获取 2000 个实体的键并生成任务以将它们逐个删除(可以将键作为字符串传递给任务)可能比使用数据存储管理工具更便宜。我现在正在尝试这个,如果这看起来更便宜,我会尽量记得明天回来报告。

最佳答案

首先删除索引将大大降低删除记录的成本。您还可以将删除率限制在免费分配的每天 6.5 个 CPU 小时以下,以避免付费。

关于自己进行删除,您不太可能比数据存储管理工具更有效地执行此操作,后者已经执行仅键查询并使用游标。

关于python - 从 App Engine 经济地删除数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5252477/

相关文章:

python - Pandas 基础设施数据统计图,每个用户的日期

python - 如何在 Spark(Scala 或 Python)中将时间范围扩展到每分钟间隔?

python - portalocker 似乎没有锁定

google-app-engine - appengine java 命令行部署、刷新 token

python - 定义 Appengine Datastore 模型后要测试什么

html - 如何处理将 html 内容上传到 AppEngine 应用程序?

python - 是否可以将以一种方式堆叠的 Python 数组 reshape 为另一种堆叠类型?

python - 如何在 Python 中检查电子邮件是否存在?

google-app-engine - Eclipse:缺少org.eclipse.mylyn.commons.ui 0.0.0

java - GAE : How to map object oriented designs into Appengine datastore efficiently