我有混合 Java/Scala 项目。有些 Quartz 作业是用 Java 实现的,并使用一些 Scala 类。这些类应该使用相同的 SparkContext 实例,因此我实现了一些应该是单例的东西,如下所示:
object SparkContextLoader {
var hasSC = false
var sc:Any = 0
def getSC(workers):SparkContext={
if (!hasSC) {
val sparkConf = new SparkConf().setMaster("local[" + workers + "]").setAppName("SparkApp")
sc = new SparkContext(sparkConf)
hasSC = true
}
return sc.asInstanceOf[SparkContext]
}
从两个不同的作业调用 SparkContextLoader 总是会创建一个新的 SparkContext 实例,这是不允许的。
为什么 Scala 对象的行为不像单例?
最佳答案
您的代码过于复杂。如果“两个不同的作业”是不同的线程,那么您需要的是:
object SparkContextLoader {
val sparkConf = new SparkConf().setMaster("local[" + workers + "]").setAppName("SparkApp")
val sc = new SparkContext(sparkConf)
}
然后您可以使用 this question 的答案来访问这些值.
如果“两个不同的作业”是不同的 java 应用程序,则 it doesn't seem有一种方法可以在它们之间共享一个单例。
关于java - 如何在 Scala 中实现真正的单例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34702638/