python - Pyspark 将标准列表转换为数据框

Question

<分区>

Answer 1

此解决方案也是一种使用较少代码、避免序列化为 RDD 并且可能更容易理解的方法:

from pyspark.sql.types import IntegerType

# notice the variable name (more below)
mylist = [1, 2, 3, 4]

# notice the parens after the type name
spark.createDataFrame(mylist, IntegerType()).show()

注意:关于命名您的变量list:术语list 是Python 内置函数，因此强烈建议我们避免使用内置名称作为名称/label 用于我们的变量，因为我们最终会覆盖诸如 list() 函数之类的东西。在快速而肮脏地制作原型(prototype)时，许多人会使用类似这样的东西:mylist。