apache-spark - 如何在 Spark SQL 中分割一串数字并取其平均值？

Question

我的数据集中有一列包含一串数值。我想分割它并使用 Sqark SQL 计算它的平均值

"[0.0895298943, 0.0794019, 0.07463462, 0.0538841, 0.0266057681, 0.03875145, 0.0308785159]"

我知道如何分割它，但我想将值更改为数字(浮点)，并计算该序列的平均值。

SELECT split(FFTData,',') as VarN from dataset 

任何帮助将不胜感激。

Answer 1

拆分后，您可以将生成的字符串数组转换为 float 数组，然后使用 aggregate计算平均值的函数:

spark.sql("""
    SELECT  VarN,
            AGGREGATE(VarN, 0D, (acc, x) -> acc + x, acc -> acc / SIZE(VarN)) AS VarN_Avg
    FROM    (
        SELECT  CAST(SPLIT(FFTData, ',') AS ARRAY<FLOAT>) AS VarN
        FROM    dataset
    )
""").show(false)

//+-------------------------------------------------------------------------------------+--------------------+
//|VarN                                                                                 |VarN_Avg            |
//+-------------------------------------------------------------------------------------+--------------------+
//|[0.089529894, 0.0794019, 0.07463462, 0.0538841, 0.026605768, 0.03875145, 0.030878516]|0.056240892836025784|
//+-------------------------------------------------------------------------------------+--------------------+