java - 如何在本地模式下使用 Spark 来利用我的本地资源?

标签 java apache-spark kotlin bigdata cluster-computing

我一直在使用 Apache Spark 编写一个桌面应用程序,它可以让您以交互方式篡改数据。我最近开始阅读“Learning Spark”,作者说在 local 模式下(当 master 设置为 local 时)Spark 只使用一个 Thread

如果我的计算机上没有成熟的 Spark 集群,我如何才能利用计算机中的所有内核?

我正在使用 Java/Kotlin。

最佳答案

它默认为一个,但您可以指定您喜欢的数量:

 val config = SparkConfig()
 config.setMaster("local[8]") // local, using 8 threads (you can vary the number)
 config.setAppName("qwerty")
 val context = SparkContext(config)

关于java - 如何在本地模式下使用 Spark 来利用我的本地资源?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49984881/

相关文章:

java - Java 和 C 之间的代码点不匹配

java - swagger jersey + jaxrs 查询参数不起作用

java - 当我使用 HttpUnit 时,“ï”字符发生错误

hadoop - 通过 Spark App 在 HDFS 中的不同仓库目录之间保存 Hive 表

python - pyspark 将数据帧写入 hdfs 失败

apache-spark - Spark 提交应用程序主控主机

android - 在buildSrc中访问ApplicationVariants

java - Spring,从 Controller 提供静态 View

Java 不识别 ArrayList 中的元素?

android - Log.e 与 Kotlin