我的 gcp 帐户上有两个项目,它们都有存储桶。 在其中一个项目中,我有一个正在运行 hive 的 dataproc 集群。 从这个配置单元,我想访问另一个项目的存储桶。 我已经尝试为我的存储桶授予 ACL 权限,但是当我从配置单元执行创建表命令时仍然出现错误,说:
失败:执行错误,从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。 MetaException(消息:出现异常:java.io.IOException 错误访问:桶:桶名,对象:文件夹/文件名。
如何使用 hive 访问我的存储桶?
最佳答案
按照建议,我使用了预装在 dataproc 集群中的 google cloud connector。
https://cloud.google.com/dataproc/docs/concepts/connectors/install-storage-connector
步骤很精确,但除此之外,我还必须将存储桶中的 apt 角色添加到我的服务帐户。
https://cloud.google.com/storage/docs/access-control/iam-roles
然后它起作用了。
关于hadoop - 使用配置单元在 gcp 中跨项目访问存储桶,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53443495/