google-api - 如何使用带有 gsutil 的服务帐户上传到 CS + BigQuery

标签 google-api google-bigquery google-cloud-storage

如何使用我在 Google API 控制台中创建的服务帐户,使用 gsutil 将数据上传到 Google BigQuery?

首先,我尝试使用 gsutil 将数据上传到 Cloud Storage ,因为这似乎是推荐的模型。在 gmail 用户批准的情况下一切正常,但它不允许我使用服务帐户。

似乎我可以使用 Python API 来获取访问 token signed JWT credentials ,但我更喜欢使用像 gsutil 这样支持可恢复上传等的命令行工具。

编辑:我想在 cron 中使用 gsutil 每晚将文件上传到 Cloud Storage,然后将它们导入到 BigQuery。

任何帮助或方向将不胜感激。

最佳答案

Google Cloud Storage 刚刚发布了支持服务帐户(以及许多其他功能和错误修复)的 gsutil 新版本 (3.26)。如果您已经安装了 gsutil,则可以通过运行以下命令获取此版本:
gsutil update
简而言之,您可以通过运行以下命令来配置服务帐户:
gsutil config -e
gsutil help config有关使用 config 命令的更多详细信息。
gsutil help creds有关gsutil 的不同风格凭证(和不同用例)的信息支持。

Mike Schwartz,Google 云存储团队

关于google-api - 如何使用带有 gsutil 的服务帐户上传到 CS + BigQuery,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12433639/

相关文章:

api - 通过Cloud Storage API查询Google Play评论

google-bigquery - BigQuery Streaming API 频繁引发 503 错误

node.js - 使用 NodeJS 将文件上传到谷歌云存储

google-api - Google 自定义搜索 json api 优化标签

google-api - Facebook SDK + 谷歌 SDK : The frame being accessed set 'document.domain' to 'facebook.com'

SQL - 不等左连接 BigQuery

google-bigquery - 更改分区表的 BigQuery 中的数据类型

python - 如何通过 python 以编程方式从 Google Storage 下载文件?

node.js - 使用 Node.js 列出 Google Cloud Storage 存储桶中的文件夹

Python:Google-Maps-API 发送未知格式进行解析