java - org.spark_project.guava.util.concurrent.ExecutionError : NoClassdefFoundError Unchecked CompileException

Question

当执行到达此示例代码中的 ~.RDD() 调用时，出现此异常:

enter code here
JavaRDD<String,String> row = sparkSession.read()
                                   .textFile("~~~")
                                   .javaRDD()   <--------- (Execution Error)
                                 .map(some Function);

根本原因:

org.spark_project.guava.util.concurrent.ExecutionError: NoClassdefFoundError org/codehaus/commons/compiler/UncheckedCompileException

我的 pom.xml 中有 Spark 的所有依赖项，我尝试了 2.10 和 2.11 多个版本，但我得到了相同的异常，请帮助

Answer 1

解决办法是这样的:

`<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-sql_2.11</artifactId>
  <version>2.1.1</version>
  <exclusions>
   <exclusion>
     <groupId>org.codehaus.janino</groupId>
     <artifactId>janino</artifactId>
   </exclusion>
   <exclusion>
     <groupId>org.codehaus.janino</groupId>
     <artifactId>commons-compiler</artifactId>
   </exclusion>
  </exclusions>
 </depenedency>
 <dependency>
   <groupId>org.codehaus.janino</groupId>
   <artifactId>commons-compiler</artifactId>
   <version>3.07</version>
 </dependency>
 <dependency>
   <groupId>org.codehaus.janino</groupId>
   <artifactId>janino</artifactId>
   <version>3.07</version>
 </dependency>`

但是，不要使用 dependencyManagement 来管理项目中的 janino，因为它不起作用。解决方案是使用 EXLUSIONS => 像这样 janino-2.x.jar 不会通过这种方式包含在内。