如何在 pyspark 交互式 shell 中更改 spark.driver.maxResultSize?我使用了以下代码
from pyspark import SparkConf, SparkContext
conf = (SparkConf()
.set("spark.driver.maxResultSize", "10g"))
sc.stop()
sc=SparkContext(conf)
但它给了我错误
AttributeError: 'SparkConf' object has no attribute '_get_object_id'
最佳答案
在 Spark 2.3.1 中更新配置
要更改默认的 spark 配置,您可以按照以下步骤操作:
导入需要的类
from pyspark.conf import SparkConf
from pyspark.sql import SparkSession
获取默认配置
spark.sparkContext._conf.getAll()
更新默认配置
conf = spark.sparkContext._conf.setAll([('spark.executor.memory', '4g'), ('spark.app.name', 'Spark Updated Conf'), ('spark.executor.cores', '4'), ('spark.cores.max', '4'), ('spark.driver.memory','4g')])
停止当前的 Spark session
spark.sparkContext.stop()
创建 Spark session
spark = SparkSession.builder.config(conf=conf).getOrCreate()
关于python - 如何在交互式 PySpark session 中更改 SparkContext 属性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32362783/