serialization - Spark Parallelize？ (找不到名称为 'id'的创建者属性)

Question

调用时导致Apache Spark 1.4.0中此序列化错误的原因是:

sc.parallelize(strList, 4)

抛出此异常:

com.fasterxml.jackson.databind.JsonMappingException: 
Could not find creator property with name 'id' (in class org.apache.spark.rdd.RDDOperationScope)

从中的addBeanProps中抛出。Jackson :com.fasterxml.jackson.databind.deser.BeanDeserializerFactory＃addBeanProps

RDD是Seq [String]，＃partitions似乎无关紧要(尝试1、2、4)。

没有序列化堆栈跟踪，因为正常情况下无法关闭工作进程闭包。

有什么其他方法可以追踪到这一点？

Answer 1

@Interfector是正确的。我也遇到了这个问题，这是我的sbt文件中的一个片段以及修复了它的'dependencyOverrides'部分。

libraryDependencies ++= Seq(
  "com.amazonaws" % "amazon-kinesis-client" % "1.4.0",
  "org.apache.spark" %% "spark-core" % "1.4.0",
  "org.apache.spark" %% "spark-streaming" % "1.4.0",
  "org.apache.spark" %% "spark-streaming-kinesis-asl" % "1.4.0",
  "com.amazonaws" % "aws-java-sdk" % "1.10.2"
)

dependencyOverrides ++= Set(
  "com.fasterxml.jackson.core" % "jackson-databind" % "2.4.4"
)