我知道我可以通过
将我的 Spark 数据帧作为 CSV 文件输出到 AWS S3df.repartition(1).write.csv('s3://my-bucket-name/df_name')
我的问题是，当使用 pyspark 将此文件写入 S3 时，是否有一种简单的方法可以将此文件的访问控制列表 (ACL) 设置为 'bucket-owner-full-control'？
最佳答案
构建 Spark session 后，可以通过 Hadoop 配置设置访问控制列表 (ACL)。
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('YourAppName').getOrCreate()
设置ACL如下:
spark.sparkContext.hadoopConfiguration().set('fs.s3.canned.acl', 'BucketOwnerFullControl')
关于amazon-web-services - 在pyspark(2.2.0)中将CSV文件写入AWS时如何分配访问控制列表(ACL)？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52673924/