scala - 如何从 pyspark 设置 hadoop 配置值

Question

Scala 版本的 SparkContext 具有以下属性

sc.hadoopConfiguration

我已成功使用它来设置 Hadoop 属性(在 Scala 中)

例如

sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")

但是 SparkContext 的 python 版本缺少该访问器。有没有办法将 Hadoop 配置值设置到 PySpark 上下文使用的 Hadoop 配置中？

Answer 1

sc._jsc.hadoopConfiguration().set('my.mapreduce.setting', 'someVal')

应该可以