scala - 如何使 Scala 类 Hadoop 可写？

Question

我有一个 Scala 类:

class Features (
  val count: Int = 1,
  val firstTime: Long = Long.MaxValue,
  val lastTime: Long = Long.MinValue)

保存在以字符串为键的 Spark 对 RDD 中:

val features: org.apache.spark.rdd.RDD[(String, features.Features)]

我想用类似的东西保存内容:

features.saveAsSequenceFile(path)

但是 Features 类没有实现 org.apache.hadoop.io.Writable，我不知道如何实现它。没有它，我得到的错误是:

No implicit view available from features.Features => org.apache.hadoop.io.Writable.

如何使功能 Hadoop 可写？

Answer 1

您应该在您的类中实现Writable 接口(interface)。一般有两种方式:

1. 在你的案例类中实现可写

2. 实现类型类并为其提供隐式转换