java - 增加 Spark on Yarn 中的 Java 堆大小

Question

如何使用 Spark on Yarn 的额外 java 选项增加 Java 堆空间？

这段代码是我目前有效的代码:

./bin/spark-shell --master yarn-client --num-executors 10 --executor-memory 4g

这是行不通的:

./bin/spark-shell --master yarn-client --num-executors 10 --executor-memory 4g --extrajavaoptions '-Xmx2g'

我想添加 spark.yarn.am.extraJavaOptions。默认为无。我知道它应该是一串额外的 JVM 选项，以客户端模式传递给 YARN Application Master。我想输入类似 -Xmx2g 的内容。谁能告诉我我做错了什么？

Answer 1

首先，命令的使用方法如下。

--conf spark.executor.extrajavaoptions="Option" [Cluster]
--conf spark.yarn.am.extraJavaOptions="Option" [YARN]

但是请注意，

根据 Spark configuration文档

spark.executor.extraJavaOptions

A string of extra JVM options to pass to executors. For instance, GC settings or other logging. Note that it is illegal to set Spark properties or heap size settings with this option. Spark properties should be set using a SparkConf object or the spark-defaults.conf file used with the spark-submit script. Heap size settings can be set with spark.executor.memory.

您不应使用此选项设置堆大小设置，而是可以在 spark-defaults 脚本中配置它们。

示例布局可以在这里找到:Git repo