python - 如何设置自动导入 Google Data Prep?

标签 python google-cloud-platform google-cloud-dataprep

使用 Google Data Prep 时,我可以创建自动计划来运行更新 BigQuery 表的作业。

但是,考虑到 Prep 中使用的数据是通过手动将 CSV(或 JSON、xlsx 等)拖放到数据存储桶中来更新的,这似乎毫无意义。

我试图寻找一种确定的方法来使用我的电脑上定期更新的文件自动更新此存储桶,但我似乎找不到最佳实践解决方案。

应该如何高效且有效地做到这一点?

最佳答案

因此,要将文件从您的计算机上传到 Google 云端存储,有几种可能性。如果您只是运行一个处理该共享目录中任何更改的守护进程,您可以使用以下不同的语言编写自动上传代码:C#、Go、Java、Node.JS、PHP、Python 或 Ruby。

你这里有some code examples用于上传对象,但是请注意,还有一个 detailed Cloud Storage Client Libraries references您还可以在 "Additional Resources". 中找到 GitHub 链接

关于python - 如何设置自动导入 Google Data Prep?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51059993/

相关文章:

python - 尝试将多个 .csv 读取到单独的数据框列中

python用正斜杠和反斜杠存储路径名

python - 如何检查 numpy 数组是否已经存在?

python - 为什么我有 Description-Content-Type : UNKNOWN

google-cloud-platform - Google Compute Engine 基于 'used' 内存自动缩放

go - GKE 无法将卷装载到部署/Pod : timed out waiting for the condition

php - 在谷歌应用引擎的laravel coaster cms中使特定文件夹可写

java - Dataprep - 当输出为 BigQuery 时数据流失败

google-cloud-platform - 数据准备 : access to source filename

google-cloud-platform - 使用 EU BigQuery 数据库时,Google Cloud DataPrep 失败并出现跨区域错误