google-cloud-platform - 在哪里保存用于 Google Cloud Composer 连接设置的服务帐户 key 文件?

标签 google-cloud-platform airflow google-cloud-composer

我正在尝试使用服务帐户 key 在 Google Cloud Composer 中设置 Google Cloud Platform 连接。所以我创建了一个 GCS 存储桶并将服务帐户 key 文件放在存储桶中。 key 存储在 JSON 中。在 key 文件路径字段中,我指定了一个 GCS 存储桶,在 key 文件 JSON 字段中,我指定了文件名。范围是 https://www.googleapis.com/auth/cloud-platform .

尝试使用此连接启动 Dataproc 集群时,出现找不到 JSON 文件的错误。

查看错误消息,代码尝试使用以下方法解析文件:with open(filename, 'r') as file_obj这显然不适用于 GCS 存储桶路径。

所以我的问题是,如果不能将这个服务帐户 key 文件放在 GCS 路径中,我应该把它放在哪里?

最佳答案

我假设您希望您的运算符(operator)使用不同于 Composer 运行的默认自动生成的计算帐户的服务帐户。

docs表示您可以为服务帐户添加新的 Airflow Connection,其中包括将整个 JSON key 文件复制粘贴到 Airflow Connection 配置中(选择 Keyfile JSON 连接类型后,查找 Google Cloud Platform)。

关于google-cloud-platform - 在哪里保存用于 Google Cloud Composer 连接设置的服务帐户 key 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50710528/

相关文章:

python - 为 Google 云数据流部署和管理 Python SDK Apache Beam 管道执行的便捷方法是什么

android - 是否可以使用 toObject 和 object 作为参数从 firestore 检索数据?

python - Airflow DAG - 使用 SimpleHttpOperator 访问上下文以启用 XCOM 拉取

python - 在 Google Cloud Composer 中浏览 DAG 任务信息时,Airflow 抛出与时区相关的 TypeError

airflow - 如何使用 Google Cloud Composer CLI 设置 AWS 凭证?

google-cloud-functions - 从 Cloud Function 的文件到达事件触发 Composer DAG 上的任务

java - 云存储 - 上传图像时文件的内容类型显示为数据

google-cloud-platform - GCP 发布订阅 : "The request was aborted because there was no available instance." - Doesn't Retry on Failure

Airflow 连接 UI 不可见

python - 在 TriggerDagRunOperator 中提供上下文