我们有一个 3 节点集群。每个节点有 20 个内核和 100GB 内存。我们将动态资源分配设置为 true。
我想根据自己的意愿调整资源。
例如:
spark-submit
仅使用 1 个核心。默认情况下,它选择 4-6 个内核。- 我想为我运行的每个 spark-submit 设置它。
我怎样才能达到我的要求。
最佳答案
spark.dynamicAllocation.enabled
是应用程序的属性。它可以在每次提交时设置,使用以下之一:
- 将
--conf
选项传递给 Spark 提交。 - 在
SparkConf
对象上设置spark.dynamicAllocation.enabled
。 - 使用
SparkSessionBuilder
的config
方法。
关于hadoop - 当动态分配设置为 true 时手动分配核心数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46696072/