我有 3 台机器，每台机器有 12 个内核。如何设置 spark 以使用 12 个内核？
在 spark-env.sh 我已经设置了内存，但我没有找到如何设置内核数。你能帮忙吗？
export SPARK_WORKER_MEMORY=28G
最佳答案
在所有机器上的 spark-env.sh 中添加以下内容
export SPARK_WORKER_CORES=12
SPARK_WORKER_CORES 指定允许 Spark 应用程序在机器上使用的内核总数(默认值:所有可用内核)。
此外，如果您希望在一台机器上有两个 worker ，请尝试以下操作:
export SPARK_WORKER_INSTANCES=2
export SPARK_WORKER_CORES=6
这将启动两个具有 6 个核心的 worker。
查询 http://spark.apache.org/docs/latest/spark-standalone.html#cluster-launch-scripts更多细节。
关于apache-spark - 如何设置 spark 使用特定数量的内核？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37473421/