可以在spark-submit命令中指定num-executors覆盖已经启用的动态分配(spark.dynamicAllocation.enable true)吗？
最佳答案
从日志中可以看到:
INFO util.Utils: Using initial executors = 60,
max of spark.dynamicAllocation.initialExecutors, spark.dynamicAllocation.minExecutors and spark.executor.instances
这意味着spark将采用max(spark.dynamicAllocation.initialExecutors,spark.dynamicAllocation.minExecutors,spark.executor.instances)
spark.executor.instances 是 --num-executor。
关于apache-spark - num-executors 可以覆盖 Spark-Submit 中的动态分配吗，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48352830/