java - 将 Spark "Library"添加到 Scala 项目

Question

我正在浏览一本书，作者遗漏了实际为项目提供 Spark 的 Scala 库的部分。所以像

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

不工作(在 apache 上失败)。

我是 Scala(以及一般的 JVM 语言)的新手，甚至不确定要搜索什么。我应该找 jar 吗？我将如何添加它们？如果这有助于解释，我正在使用 intelliJ。

我确实有 spark 运行，所以我认为它是我需要安装的 scala 的“客户端”spark 库。

所以使用下面的答案我现在更接近了(现在使用 sbt)但是我有以下错误:

build.sbt 现在是:

name := "gettingThingsRunning"

version := "1.0"

scalaVersion := "2.12.1"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "1.5.1",
  "org.apache.spark" %% "spark-sql" % "1.5.1" )

Answer 1

您需要使用 Maven 或 sbt 等依赖管理器。

使用 sbt，您可以在项目根文件夹中添加一个 build.sbt 文件，例如:

name := "Simple Project"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"

然后您可以使用 IntelliJ 的 Scala 插件来“刷新”您的项目并重新索引依赖项。

编辑: 假设您使用 SBT 选项创建了项目，您可以使用侧边栏中的 SBT 功能来刷新您的依赖项:

关于 Spark，我建议阅读 Spark quick start page ，特别是称为“自包含应用程序”的部分。

对于 IntelliJ 和 SBT 项目，我相信您会从阅读以下页面中获益:

https://www.jetbrains.com/help/idea/2016.3/getting-started-with-sbt.html