我正在尝试为spark 2.11设置IntelliJ，但是这非常艰巨，并且几天后我无法编译诸如“spark.read.format”之类的简单指令，该指令在主核心和sql spark库中找不到。
我已经看到了有关该主题的一些帖子，但都没有解决。有人对我可以开始的可行示例程序有一些经验吗？
使用Eclipse会更容易吗？
预先感谢您的回答，
EZ
最佳答案
使用scala 2.11和sbt 0.13在Intellij中构建项目:然后确保您的plugins.sbt包含以下内容:
logLevel := Level.Warn
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")
那么您的
build.sbt必须包含以下内容:scalaVersion := "2.11.8"
val sparkVersion = "2.1.0"
libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion %"provided"
libraryDependencies += "org.apache.spark" %% "spark-sql" % sparkVersion %"provided"
然后编写代码，在
Terminal中单击Intellij并键入sbt assembly:您可以将该jar运送到远程集群，否则从本地Intelij运行，让我知道它的运行方式
关于eclipse - 使用IntelliJ或Eclipse进行Spark，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43166155/