这里我创建了一个日期框,如下所示,
df = spark.createDataFrame([('a',5,'R','X'),('b',7,'G','S'),('c',8,'G','S')],
["Id","V1","V2","V3"])
看起来像
+---+---+---+---+
| Id| V1| V2| V3|
+---+---+---+---+
| a| 5| R| X|
| b| 7| G| S|
| c| 8| G| S|
+---+---+---+---+
我想添加一个由 V1、V2、V3 组成的元组列。
结果应该是这样的
+---+---+---+---+-------+
| Id| V1| V2| V3|V_tuple|
+---+---+---+---+-------+
| a| 5| R| X|(5,R,X)|
| b| 7| G| S|(7,G,S)|
| c| 8| G| S|(8,G,S)|
+---+---+---+---+-------+
我曾尝试使用与 Python 中类似的语法,但没有成功:
df.withColumn("V_tuple",list(zip(df.V1,df.V2,df.V3)))
类型错误:zip 参数 #1 必须支持迭代。
如有任何帮助,我们将不胜感激!
最佳答案
我来自 scala,但我相信 python 中也有类似的方法:
使用 sql.functions
打包方法:
如果你想获得具有这三列的 StructType
,请使用 struct(cols: Column*): Column
方法,如下所示:
from pyspark.sql.functions import struct
df.withColumn("V_tuple",struct(df.V1,df.V2,df.V3))
但是如果你想将它作为字符串获取,你可以使用 concat(exprs: Column*): Column
方法,如下所示:
from pyspark.sql.functions import concat
df.withColumn("V_tuple",concat(df.V1,df.V2,df.V3))
使用第二种方法,您可能必须将列转换为 String
我不确定 python 语法,如果有语法错误,请编辑答案。
希望对您有所帮助。最好的问候
关于python - PySpark:添加一个新列,其中包含从列创建的元组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44067861/