scala - 如何在 Spark 中将数组分解为多列

标签 scala apache-spark

我有一个 Spark 数据框看起来像:

id   DataArray
a    array(3,2,1)
b    array(4,2,1)     
c    array(8,6,1)
d    array(8,2,4)

我想将此数据框转换为:
id  col1  col2  col3
a    3     2     1
b    4     2     1
c    8     6     1 
d    8     2     4

我应该使用什么功能?

最佳答案

使用 apply :

import org.apache.spark.sql.functions.col

df.select(
  col("id") +: (0 until 3).map(i => col("DataArray")(i).alias(s"col$i")): _*
)

关于scala - 如何在 Spark 中将数组分解为多列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49499263/

相关文章:

apache-spark - 如何在 pyspark 中加载 gzip 压缩的 csv 文件?

scala - 如何理解scala中的monad

java - 无法使用注入(inject)器注入(inject) Play 的 WSClient 实例

java - 如何从 Java 调用 Scala 单例方法?

apache-spark - 与滞后函数和窗口函数一起使用时动态更新 Spark 数据帧列

join - Spark 数据帧 reduceByKey

scala - 如何将 "--deploy-mode cluster"选项添加到我的 Scala 代码中

java - 从 scala playn 读取图像时出错

apache-spark - 为什么在20行PySpark数据帧上的.show()这么慢?

apache-spark - Spark SQL 中的 Oracle INSTR 等效项