java - Spark 和 Java : Error ClassCastException

标签 java maven hadoop apache-spark

我完全按照这个例子 https://github.com/rathboma/hadoop-framework-examples/tree/master/spark 当我尝试运行时,我收到此消息:

java.lang.ClassCastException: org.apache.spark.api.java.Optional cannot be cast to com.google.common.base.Optional

我不知道如何修复它,因为我是使用 Spark 的新手。 谢谢!! 有什么建议吗?

最佳答案

这是因为您使用 Spark 1.x 编译代码,但在 Spark 2.x 集群中运行您的应用程序。您可以更新 pom.xml 以使用相同版本的 Spark 集群,并且可能还需要更新您的代码,因为 2.x 和 1.x 不兼容。

关于java - Spark 和 Java : Error ClassCastException,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44317316/

相关文章:

java - Maven 项目中的 MapStruct 依赖范围

hadoop - 在虚拟盒集群上部署CDH5?

hadoop - 更改表列名称拼写格式Hadoop

hadoop - 将 CSV 数据加载到 Hive ORC 表中

java - 调用后端、多路径变量、Ext Js

java - 列在 spring boot Postgres 应用程序中不存在

java - Protobuf 映射类型 JSON 格式使用字符串文字 "key"和 "value"而不是实际值

java - Maven 发布插件 - 如何修改发布项目的版本

java - 如何从 Maven 中的父项目中排除依赖项?

java - 无法解析 com.sun :tools:0 in Maven Project?