我正在尝试在 Hortonworks 沙箱上使用 Intellij 运行一个简单的 Spark 应用程序。 我打开了一个新的 SBT 项目,然后创建了一个 Scala 类:
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "/root/temp.txt"
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
println(logData .count())
}
}
这是我的 build.sbt:
name := "Simple Project"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" % "spark-core" % "1.3.0" % "provided"
现在右键单击此类 -> 运行会引发异常:
exception in thread main java.lang.noclassdeffounderror: org/apache/Spark/SparkConf
显然我做错了什么,但我可以在依赖项列表上看到 Spark 库。有什么帮助吗? (顺便说一句,通过 SBT Scala 控制台运行该程序效果很好)
最佳答案
运行
object SimpleApp extends App {
def main(args: Array[String]) {
val logFile = "/root/temp.txt"
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
println(logData .count())
}
}
关于scala - 如何在 Intellij 中运行 Spark scala 应用程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36715434/