arrays - 将列与多行数组合并

Question

我正在尝试合并数据集中的数据，如下所示:

<表类=“s-表”> <标题> id 短信 长描述 其他字段 <正文> 123 contentSms 内容描述 xxx 123 contentSms2 ContentDesc2 xxx 123 contentSms3 ContentDesc3 xxx 456 contentSms4 内容描述 xxx

sms 和 longDescription 具有以下结构:

sms:array
|----element:struct
      |----content:string
      |----languageId:string

目的是捕获具有相同Id的数据，并将sms和longDescription列合并到一个具有多个结构体的数组中(以languageID为键):

<表类=“s-表”> <标题> id 短信 长描述 其他字段 <正文> 123 contentSms、ContentSms2、contentSms3 内容描述,内容描述2,内容描述3 xxx 456 contentSms4 内容描述 xxx

我尝试过使用

x = df.select("*").groupBy("id").agg( collect_list("sms"))

但结果是:

collect_list(longDescription): array (nullable = false)
 |    |-- element: array (containsNull = false)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- content: string (nullable = true)
 |    |    |    |-- languageId: string (nullable = true)

这是一个太多的数组，因为目标是拥有一个结构数组以获得以下结果:

sms: [{content: 'aze', languageId:'en-GB'},{content: 'rty', languageId:'fr-BE'},{content: 'poiu', languageId:'nl-BE'}]

Answer 1

您正在寻找flatten功能:

x = df.groupBy("id").agg(flatten(collect_list("sms")))