我正在尝试使用服务帐户 key 在 Google Cloud Composer 中设置 Google Cloud Platform 连接。所以我创建了一个 GCS 存储桶并将服务帐户 key 文件放在存储桶中。 key 存储在 JSON 中。在 key 文件路径字段中,我指定了一个 GCS 存储桶,在 key 文件 JSON 字段中,我指定了文件名。范围是 https://www.googleapis.com/auth/cloud-platform .
尝试使用此连接启动 Dataproc 集群时,出现找不到 JSON 文件的错误。
查看错误消息,代码尝试使用以下方法解析文件:with open(filename, 'r') as file_obj
这显然不适用于 GCS 存储桶路径。
所以我的问题是,如果不能将这个服务帐户 key 文件放在 GCS 路径中,我应该把它放在哪里?
最佳答案
我假设您希望您的运算符(operator)使用不同于 Composer 运行的默认自动生成的计算帐户的服务帐户。
docs表示您可以为服务帐户添加新的 Airflow Connection,其中包括将整个 JSON key 文件复制粘贴到 Airflow Connection 配置中(选择 Keyfile JSON
连接类型后,查找 Google Cloud Platform
)。
关于google-cloud-platform - 在哪里保存用于 Google Cloud Composer 连接设置的服务帐户 key 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50710528/