我正在尝试使用 Cassandra Spark 连接器将 rdd 与 Cassandra Table 连接起来:
samplerdd.joinWithCassandraTable(keyspace, CassandraParams.table)
.on(SomeColumns(t.date as a.date,
t.key as a.key)
它在独立模式下工作，但是当我在集群模式下执行时，出现此错误:
Job aborted due to stage failure: Task 6 in stage 0.0 failed 4 times, most recent failure: Lost task 6.3 in stage 0.0 (TID 20, 10.10.10.51): java.io.InvalidClassException: com.datastax.spark.connector.rdd.CassandraJoinRDD; local class incompatible: stream classdesc serialVersionUID = 6155891939893411978, local class serialVersionUID = 1245204129865863681
我已经检查了 master 和 slaves 中的 jars 并且它似乎是相同的版本。
我使用 spark 2.0.0、Cassandra 3.7、Cassandra-Spark Connector 2.0.0 M2，
Cassandra 驱动核心 3.1.0 和 Scala 2.11.8
会发生什么？
最佳答案
终于解决了。将 cassandra-driver-core 依赖更新到 3.0.0 并工作。 – Manuel Valero 刚刚编辑
关于scala - Cassandra 连接器 Apache Spark : local class incompatible，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41693063/