pyspark - 列出到 pyspark 中的 DataFrame

Question

谁能告诉我如何将包含字符串的列表转换为 pyspark 中的数据框。我正在使用 python 3.6 和 spark 2.2.1。我刚刚开始学习 Spark 环境，我的数据如下所示

my_data =[['apple','ball','ballon'],['cat','camel','james'],['none','focus','cake']]

现在，我想如下创建一个数据框

---------------------------------
|ID | words                     |
---------------------------------
 1  | ['apple','ball','ballon'] |
 2  | ['cat','camel','james']   |

我什至想添加数据中未关联的 ID 列

Answer 1

您可以将列表转换为 Row 对象列表，然后使用 spark.createDataFrame 从您的数据中推断架构:

from pyspark.sql import Row
R = Row('ID', 'words')

# use enumerate to add the ID column
spark.createDataFrame([R(i, x) for i, x in enumerate(my_data)]).show() 
+---+--------------------+
| ID|               words|
+---+--------------------+
|  0|[apple, ball, bal...|
|  1| [cat, camel, james]|
|  2| [none, focus, cake]|
+---+--------------------+