python - 使用Python将twitter数据直接发送到Google Cloud数据存储

标签 python google-cloud-platform google-cloud-datastore data-storage

如何将数据从 Twitter 直接发送到 Google Cloud 数据存储。想跳过首先将其下载到本地计算机然后将其上传到云端的步骤。它会运行一次。不是寻找完整的代码,而是寻找某人可能从中学到的任何指针或教程。使用 python 与 google-cloud 和存储交互。

如有任何帮助,我们将不胜感激。

最佳答案

Here's a blog post它描述了以下架构:

  • 在 Compute Engine 上运行 Python 脚本
  • 将数据移至 BigQuery 进行存储

Here's another one它描述了一个更复杂的架构,包括分析推文的能力:

  • 使用 Google Cloud Dataflow 模板
  • 从 Google App Engine (GAE) 应用启动 Dataflow 管道
  • 为了支持 MapReduce 作业

关于python - 使用Python将twitter数据直接发送到Google Cloud数据存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53208628/

相关文章:

python - 大型 python 列表的内存要求是什么?

python - 创建一个 Flask 公共(public) url 装饰器

python - 如何用 python re.sub 仅替换部分匹配项

google-cloud-platform - 使用 gsutil 重命名 GCS 中的文件夹

java - 如果使用 spring-data-rest,则找不到能够从类型 [java.lang.String] 转换为类型 [com.google.cloud.datastore.Key] 的转换器

python - 从另一个页面引用实体

Python:如何同时发送多个http请求? (像 fork )

用于创建 Google 项目的 Python 代码

ssh - gcloud ssh -- 没有可用的受支持的身份验证方法(服务器发送 : publickey)

google-app-engine - 是否可以从 Go 运行时使用 Python 的 Datastore 属性类?