要强制 Spark 使用 kryo 序列化，可以设置以下选项 spark.kryo.registrationRequired。
如何注册org.apache.spark.sql.types.DataType[]？
Class is not registered: org.apache.spark.sql.types.DataType[]
抛出异常。但尝试像 classOf[org.apache.spark.sql.types.DataType[]] 那样注册将无法编译
最佳答案
我对 java 和 scala 数组表示法感到困惑。
classOf[Array[org.apache.spark.sql.types.DataType]]
是正确的注册。
尽管如此，这是一个 Spark 内部类，应该已经被 Spark 注册了。
关于serialization - Spark kryo 序列化寄存器 Datatype[]，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41171015/