hadoop - 使用配置单元在 gcp 中跨项目访问存储桶

标签 hadoop hive google-cloud-platform google-cloud-storage

我的 gcp 帐户上有两个项目,它们都有存储桶。 在其中一个项目中,我有一个正在运行 hive 的 dataproc 集群。 从这个配置单元,我想访问另一个项目的存储桶。 我已经尝试为我的存储桶授予 ACL 权限,但是当我从配置单元执行创建表命令时仍然出现错误,说:

失败:执行错误,从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。 MetaException(消息:出现异常:java.io.IOException 错误访问:桶:桶名,对象:文件夹/文件名

如何使用 hive 访问我的存储桶?

最佳答案

按照建议,我使用了预装在 dataproc 集群中的 google cloud connector。

https://cloud.google.com/dataproc/docs/concepts/connectors/install-storage-connector

步骤很精确,但除此之外,我还必须将存储桶中的 apt 角色添加到我的服务帐户。

https://cloud.google.com/storage/docs/access-control/iam-roles

然后它起作用了。

关于hadoop - 使用配置单元在 gcp 中跨项目访问存储桶,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53443495/

相关文章:

Hadoop Hive DOUBLE类型问题

hadoop - 如何在Hive脚本中将功能作为S3位置的输入

Android - TFLite OD - 无法从 4320000 字节的 Java 缓冲区复制到 307200 字节的 TensorFlowLite 张量 (normalized_input_image_tensor)

google-cloud-platform - 将临时 IP 提升为静态?

hadoop - hadoop map减少二次排序

java - Python 脚本超时错误 Ambari

hadoop - 使用直线 shell 拒绝匿名用户的 Hive 权限

java - 尝试在本地运行 PubSub 模拟器时出错

xml - How to read compressed bz2 (bzip2) Wikipedia dumps into stream xml record reader for hadoop map reduce

java - Hadoop HDFS MapReduce 输出到 MongoDb