apache-spark - 用于 Java 11 的 Spark

标签 apache-spark java-11

Spark 2.x 用于 Java 11 时出现以下错误

Exception in thread "main" java.lang.IllegalArgumentException: Unsupported class file major version 55


Spark 3.0 是否与 Java 11 具有这种兼容性?
有没有其他解决方法可以将 Java 11 与 Spark 一起使用?

最佳答案

来自 Spark 3 documentation :

Spark runs on Java 8/11, Scala 2.12, Python 2.7+/3.4+ and R 3.1+. Java 8 prior to version 8u92 support is deprecated as of Spark 3.0.0. Python 2 and Python 3 prior to version 3.6 support is deprecated as of Spark 3.0.0. R prior to version 3.4 support is deprecated as of Spark 3.0.0. For the Scala API, Spark 3.0.0 uses Scala 2.12. You will need to use a compatible Scala version (2.12.x).


所以 Spark 3.x 可以与 Java11 一起使用,Spark 2.x 不像 this answer 中指出的那样.

关于apache-spark - 用于 Java 11 的 Spark,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62894890/

相关文章:

java - Spark Structured Streaming with RabbitMQ 源码

python - 在pyspark SQL DataFrame中乘以稀疏向量行

java - 如何在 IntelliJ 中使用 Java 11 目标 Java 1.8 进行编译

java - 从 Java 8 升级到 Java 11 - 包 sun.util 不存在

java - Grails 3.x 是否支持 Java 11

java - 为什么ArrayList流不报告CONCURRENT特征?

python - Spark 中的分区和分桶有什么区别?

apache-spark - 如何在 Spark-MLlib PMML 文件中用精确的列名替换 DataField 值?

scala - Spark 数据集 - 每行的 "edit" Parquet 文件

java - 为什么明明使用了未使用的方法却出现 PMD 违规