python - 如何安排作业在云中执行 Python 脚本以将数据加载到 bigquery?

标签 python google-bigquery google-cloud-platform gsutil

我正在尝试在云中设置计划作业/进程,以使用 python 脚本将 csv 数据从谷歌存储桶加载到 Bigquery 中。我已经设法阻止 python 代码来执行此操作,但不确定我需要在哪里保存此代码,以便可以作为自动化过程完成此任务,而不是手动运行 gsutil 命令。

最佳答案

Reliable Task Scheduling on Google Compute Engine  |  Solutions  |  Google Cloud Platform ,Google 中关于“google cloud schedule a cron job”的第一个链接,给出了高级概述。 Scheduling Tasks With Cron for Python  |  App Engine standard environment for Python  |  Google Cloud Platform ,第二个链接,有分步说明。它们归结为:

  • 以特定格式创建 cron.yaml 以及 app.yaml
  • 可选择在开发服务器上对其进行测试
  • 使用 appcfg.py updateupdate_cron 将其上传到 Google Cloud

关于python - 如何安排作业在云中执行 Python 脚本以将数据加载到 bigquery?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40016694/

相关文章:

具有递归的 Python C API - 段错误

python - 我在 pandas 上使用 to_gbq 来更新 Google BigQuery 并获得 GenericGBQException

hadoop - Google 大查询或 Hadoop

google-bigquery - 如何通过Java程序获取Bigquery表的架构?

google-cloud-platform - Google Cloud Dataprep可以监控GCS路径中是否有新文件吗?

python - 如何将图像的 HH 子带传递给 greycomatrix 函数?

python - Sublime text 和 Linux-KDE。系统区域设置设置为无法处理非 ASCII 字符的值

google-cloud-platform - 为 Google Deployment Manager 创建空磁盘

python - 在企业防火墙后面验证谷歌云

python - 子类化 Numpy 数组 - 传播属性