我一直在使用 Apache Spark 编写一个桌面应用程序,它可以让您以交互方式篡改数据。我最近开始阅读“Learning Spark”,作者说在 local
模式下(当 master 设置为 local
时)Spark 只使用一个 Thread
。
如果我的计算机上没有成熟的 Spark 集群,我如何才能利用计算机中的所有内核?
我正在使用 Java/Kotlin。
最佳答案
它默认为一个,但您可以指定您喜欢的数量:
val config = SparkConfig()
config.setMaster("local[8]") // local, using 8 threads (you can vary the number)
config.setAppName("qwerty")
val context = SparkContext(config)
关于java - 如何在本地模式下使用 Spark 来利用我的本地资源?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49984881/