scala - 如何使用spark在数据框中创建模式数组

Question

我有创建数据框的代码，如果我的输入数据中没有数组，这可以正常工作。

我尝试使用没有数组的 Json 数据并且它运​​行成功。
我的代码是

val vals = sc.parallelize(
  """{"id":"1","name":"alex"}""" ::
  Nil
)

val schema = (new StructType)
      .add("id", StringType)
      .add("name", StringType)


  sqlContext.read.schema(schema).json(vals).select($"*").printSchema()

我的问题是，如果我有如下数组的输入数据，那么如何创建模式？

     val vals = sc.parallelize(
  """{"id":"1","name":"alex","score":[{"keyword":"read","point":10}]}""" ::
  Nil
)


val schema = (new StructType)
      .add("id", StringType)
      .add("name", StringType)

谢谢。

Answer 1

好的，我可以在我的代码中找到解决方案。

在数据框中创建数组中的模式 spark 您可以使用此代码。

val vals = sc.parallelize(
  """{"id":"1","name":"alex","score":[{"keyword":"read","point":10}]}""" ::
  Nil
)

val schema = StructType(
      Array(
        StructField("id", StringType),
        StructField("name", StringType),
        StructField("score", ArrayType(StructType(Array(
          StructField("keyword", StringType),
          StructField("point", IntegerType)
        ))))
      )
    )

然后你打印模式

sqlContext.read.schema(schema).json(vals).select($"*").printSchema()

谢谢已解决