星火版本:2.1
例如,在pyspark中,我创建了一个列表
test_list = [['Hello', 'world'], ['I', 'am', 'fine']]
然后如何从 test_list 创建数据框,其中数据框的类型如下所示:
DataFrame[words: array<string>]
最佳答案
方法是这样的
from pyspark.sql.types import *
cSchema = StructType([StructField("WordList", ArrayType(StringType()))])
# notice extra square brackets around each element of list
test_list = [['Hello', 'world']], [['I', 'am', 'fine']]
df = spark.createDataFrame(test_list,schema=cSchema)
关于python - 如何从 Spark SQL 中的列表创建数据框?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43444925/