我有一个 Scala 类,我定义如下:
import org.apache.spark.{SparkConf, SparkContext}
object TestObject extends App{
val FAMILY = "data".toUpperCase
override def main(args: Array[String]) {
val sc = new SparkContext(new SparkConf())
sc.parallelize(1 to 10)
.map(getData)
.saveAsTextFile("my_output")
}
def getData(i: Int) = {
( i, FAMILY, "data".toUpperCase )
}
}
我将其提交到 YARN 集群,如下所示:
HADOOP_CONF_DIR=/etc/hadoop/conf spark-submit \
--conf spark.hadoop.validateOutputSpecs=false \
--conf spark.yarn.jar=hdfs:/apps/local/spark-assembly-1.2.1-hadoop2.4.0.jar \
--deploy-mode=cluster \
--master=yarn \
--class=TestObject \
target/scala-2.11/myjar-assembly-1.1.jar
出乎意料的是,输出如下所示,表明getData
方法看不到FAMILY
的值:
(1,null,DATA)
(2,null,DATA)
(3,null,DATA)
(4,null,DATA)
(5,null,DATA)
(6,null,DATA)
(7,null,DATA)
(8,null,DATA)
(9,null,DATA)
(10,null,DATA)
我需要了解什么,关于字段、范围、可见性、spark 提交、对象和单例等等,才能理解为什么会发生这种情况?如果我基本上希望定义为“常量”的变量对 getData 方法可见,我应该做什么?
最佳答案
我可能遗漏了一些东西,但我认为您不应该定义 main
方法。当您扩展 App
时,you inherit a main
,并且您不应该覆盖它,因为这才是实际调用 App
中的代码的原因。
例如,你的答案中的简单类应该这样写
object TestObject extends App {
val FAMILY = "data"
println(FAMILY, "data")
}
关于Spark 作业中的 Scala 成员字段可见性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29133161/