java - 如何在 Scala 中实现真正的单例

标签 java scala apache-spark singleton

我有混合 Java/Scala 项目。有些 Quartz 作业是用 Java 实现的,并使用一些 Scala 类。这些类应该使用相同的 SparkContext 实例,因此我实现了一些应该是单例的东西,如下所示:

object SparkContextLoader {
    var hasSC = false
    var sc:Any = 0
    def getSC(workers):SparkContext={
    if (!hasSC) {
        val sparkConf = new SparkConf().setMaster("local[" + workers + "]").setAppName("SparkApp")
        sc = new SparkContext(sparkConf)
        hasSC = true
    }
    return sc.asInstanceOf[SparkContext]
}

从两个不同的作业调用 SparkContextLoader 总是会创建一个新的 SparkContext 实例,这是不允许的。

为什么 Scala 对象的行为不像单例?

最佳答案

您的代码过于复杂。如果“两个不同的作业”是不同的线程,那么您需要的是:

object SparkContextLoader {

  val sparkConf = new SparkConf().setMaster("local[" + workers + "]").setAppName("SparkApp")

  val sc = new SparkContext(sparkConf)
}

然后您可以使用 this question 的答案来访问这些值.

如果“两个不同的作业”是不同的 java 应用程序,则 it doesn't seem有一种方法可以在它们之间共享一个单例。

关于java - 如何在 Scala 中实现真正的单例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34702638/

相关文章:

java - Scala:为什么 java.lang.IllegalArgumentException:无法将给定对象格式化为日期?

python - Spark 合并与收集,哪个更快?

java - Derby 和 SQL 请求问题 : how is the default schema determined?

java - 我是否需要在 .jar 文件中手动输入类的类名?

scala - 柯里化(Currying)和多参数列表有什么区别?

java - 需要多个 slf4j 绑定(bind)的解决方案,而不从类路径中删除其他绑定(bind) jar

scala - RDD 的 foreachPartition 方法内的意外行为

java - BufferedReader,检测是否还有文本要读取

java - 文本方面 JTextArea

scala - 在 scala 构造函数中使用 "self"作为参数