apache-spark - Spark Context 不会在 Scala Spark Shell 中自动创建

Question

我在 Spark 书中读到:

驱动程序通过 SparkContext 对象访问 Spark，该对象代表一个 连接到计算集群。在 shell 中，会自动为您创建一个 SparkContext 作为名为 sc 的变量。尝试打印 sc 以查看其类型

sc

当我输入 sc 时，它给出错误 20 value sc not found。知道为什么 sc 没有在我的 scala Spark shell 中自动创建吗？

我尝试手动创建 sc，但出现错误，提示 JVM 中已经存在 Spark 上下文。请看图片:

http://s30.photobucket.com/user/kctestingeas1/media/No%20Spark%20Context.jpg.html

我相信我已经在 scala Spark shell 中，正如你可以在我的 cmd 窗口顶部看到的 bin\spark-shell

请指教。谢谢

Answer 1

希望您找到问题的答案，因为我也遇到了同样的问题。

同时，请使用此解决方法。在 scala Spark shell 中，输入:

1. 导入 org.apache.spark.SparkContext
2. val sc = SparkContext.getOrCreate()

然后您就可以访问 sc。