java - 线程中的异常 "main"java.lang.NoSuchMethodError : scala. Predef$.longArrayOps([J)[J

Question

我有一个简单的 Scala 对象，它创建一个 RDD，然后收集并打印出所有元素。

我在 Eclipse 上创建了一个 Maven 项目并添加了 Scala 库 2.12.3 在 pom.xml 中，我添加了 Spark 2.4.3 依赖项，如下所示:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>2.4.3</version>
</dependency>

最后，我创建了一个 JAR，然后尝试执行 Spark-submit，但失败了

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.longArrayOps([J)[J
    at org.spark.learning.Demo$.main(Demo.scala:14)
    at org.spark.learning.Demo.main(Demo.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
    at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:849)
    at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:167)
    at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:195)
    at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

罪魁祸首似乎是我的scala代码中的r1.collect.foreach(println)，其中r1是从range(1,50)创建的rdd

是的，我的 Eclipse 和终端上都有 Scala 2.12.3 和 Spark 2.4.3，所以版本不兼容似乎不是这里的问题。

有人可以帮忙吗？

Answer 1

这是明确的版本问题。即使您声称使用 2.12.x，也没有什么其他的，它似乎指向旧版本的 scala 尝试清理和构建。验证您正在使用的 maven 或 sbt 中的依赖关系。

也可以 文件 -> 项目结构 -> 全局库 -> 删除 SDK -> 重建

如果您使用intellij，类路径下的所有外部库将如下图所示...在外部库部分下列出。

查找差异的一种方法是使用类加载器...

val  urls = urlsinclasspath(getClass.getClassLoader).foreach(println)


def urlsinclasspath(cl: ClassLoader): Array[java.net.URL] = cl match {
    case null => Array()
    case u: java.net.URLClassLoader => u.getURLs() ++ urlsinclasspath(cl.getParent)
    case _ => urlsinclasspath(cl.getParent)
  }

使用它，您可以打印您从 intellij 或使用集群的驱动程序运行的项目的类路径中的所有 jar。