我试图构建一个非常基本的具有 Spark 依赖项的 scala 脚本。 但我无法用它制作 jar 。
生成的错误:
sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12;1.6.0-SNAPSHOT: not found
我的build.sbt:
import Dependencies._
lazy val root = (project in file(".")).
settings(
inThisBuild(List(
organization := "com.example",
scalaVersion := "2.12.1",
version := "0.1.0-SNAPSHOT"
)),
name := "Hello",
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0-SNAPSHOT",
resolvers += Resolver.mavenLocal
)
`
package example
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object Hello {
def main(args: Array[String]) {
val logFile = "/Users/dhruvsha/Applications/spark/README.md"
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println(s"Lines with a: $numAs, Lines with b: $numBs")
sc.stop()
}
}
我的源 scala 位于:
/exampleapp/main/scala/example/Hello.scala
项目名称是 exampleapp 。
scala version 2.12.2
spark version 1.6.0
sbt version 0.13.13
我们将不胜感激任何形式的帮助,如果您可以提供用于学习 sbt 和 Spark 依赖项的资源,那就太好了。
请参阅我是 scala、spark 和 sbt 的新手。
最佳答案
build.sbt
中的 library dependency
行似乎错误
正确的应该是
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0"
关于java - 使用 sbt 解决 Spark 依赖关系,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44351958/