python-3.x - 使用 AWS Glue 将 write_dynamic_frame_from_options 的 ACL 权限写入 S3

标签 python-3.x amazon-web-services amazon-s3 pyspark aws-glue

如何在尝试使用 write_dynamic_frame_from_options 输出 Glue DynamicFrame 时在 s3 对象上添加 -acl 权限。当我尝试转换数据并将 csv 文件放入另一个 AWS 帐户 S3 存储桶时,我给出了这行代码

glueContext.write_dynamic_frame.from_options(frame = DATA_temp, connection_type = "s3", connection_options = {"path": "s3://{BUCKETNAME}/{FOLDER1}/#0001"}, format = "csv")

我的过程成功完成,但我无法下载或打开该帐户中的文件??

最佳答案

这将解决问题

glueContext._jsc.hadoopConfiguration().set("fs.s3.canned.acl", "BucketOwnerFullControl")

Scala版本如下:
glueContext.sparkContext.hadoopConfiguration.set("fs.s3.canned.acl", "BucketOwnerFullControl")

关于python-3.x - 使用 AWS Glue 将 write_dynamic_frame_from_options 的 ACL 权限写入 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58441733/

相关文章:

amazon-s3 - 在 AWS Glue 中将增量数据从 Dynamodb 加载到 S3

python - 多线程 S3 下载不会终止

python - 如何替换列表中每个元素中的特定字符

amazon-web-services - 在 Google Cloud Platform 上构建 API

javascript - 为什么使用 AWS Signature v4 对 S3 进行 REST 调用并未真正使用签名过程?

javascript - MTurk : Posting experimental conditions simultaneously, 但只允许每个 worker 看到其中一个条件

java - Hadoop S3A 文件系统,中止对象上传?

python - 如何获取 pandas 数据框的字符串列表?

python 列表值中的数字格式

python - 为什么第一个制表符 (\t) 与其他制表符不一致?