运行使用 Spark 的 Scala 文件时 Dataset键入我得到以下堆栈跟踪:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/Dataset
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
at java.lang.Class.getMethod0(Class.java:3018)
at java.lang.Class.getMethod(Class.java:1784)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:125)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.Dataset
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 6 more
我觉得这很奇怪，因为我有以下导入:
import org.apache.spark.sql._
另外，在我的
build.sbt 中我将以下内容添加到 libraryDependencies : "org.apache.spark" %% "spark-core" % "1.6.2" % "provided",
"org.apache.spark" %% "spark-sql" % "1.6.2" % "provided",
最佳答案
如果您正在独立执行此操作，您可以尝试删除 provided从你的依赖。提供意味着当您运行此应用程序时，您希望依赖项已经在类路径上。因此，如果您使用 provided，Spark 依赖项将不会包含在您的 jar 中。 .
关于scala - java.lang.ClassNotFoundException : org. apache.spark.sql.Dataset，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38268922/