我有一个多列 pyspark 数据框,我需要将字符串类型转换为正确的类型,例如:
我目前正在这样做
df = df.withColumn(col_name, col(col_name).cast('float') \
.withColumn(col_id, col(col_id).cast('int') \
.withColumn(col_city, col(col_city).cast('string') \
.withColumn(col_date, col(col_date).cast('date') \
.withColumn(col_code, col(col_code).cast('bigint')
是否可以创建一个包含类型的列表并将其一次传递给所有列?
最佳答案
您只需要将一些映射作为字典或类似的东西,然后生成正确的 select
语句(您可以使用 withColumn
,但通常它会导致性能问题)。像这样的东西:
import pyspark.sql.functions as F
mapping = {'col1':'float', ....}
df = .... # your input data
rest_cols = [F.col(cl) for cl in df.columns if cl not in mapping]
conv_cols = [F.col(cl_name).cast(cl_type).alias(cl_name)
for cl_name, cl_type in mapping.items())
if cl_name in df.columns]
conv_df.select(*rest_cols, *conv_cols)
关于python - 是否可以在 pyspark 中转换数据帧的多列?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68322664/