Scala MapType 和 Tuple 作为 KeyValue

Question

我知道在 Scala 中 MapTypes 被定义为

public MapType(DataType keyType,
               DataType valueType,
               boolean valueContainsNull)

但我不知道如何使用 Tuple 作为 keyType，因为允许的数据类型是

Direct Known Subclasses:
ArrayType, BinaryType, BooleanType, CalendarIntervalType, DateType, HiveStringType, MapType, NullType, NumericType, ObjectType, StringType, StructType, TimestampType

如何使用 Tuple 作为 MapType 的 keyType？

Answer 1

“元组类型”是一个 StructType 因此，例如 (String, Double) 是一个结构:

StructType(Seq(
  StructField("_1", StringType, true),
  StructField("_2", DoubleType, false)))

其中使用 StructField 对象枚举字段。

请记住，架构通常适用于 Row 对象:

val schema = StructType(Seq(StructField("map", MapType(
     StructType(Seq(
       StructField("_1", StringType, true),
        StructField("_2", DoubleType, false))),
     LongType))))

spark.createDataFrame(
  spark.sparkContext.parallelize(Seq(Row(Map(Row("foo", 1.1D) -> 1L)))),
  schema
)

如果数据是强类型的，则不需要架构

spark.createDataFrame(Seq(Tuple1(Map(( "foo", 1.1D) -> 1L))))

不支持混合强/弱类型对象:

spark.createDataFrame(
  spark.sparkContext.parallelize(Seq(Row(Map(( "foo", 1.1D) -> 1L)))),
  schema
)