python - 使用 pyspark 中的 RDD 从字典创建数据框

Question

我有一个字典，名称为“Word_Count”，键代表单词，值代表文本中的数字单词。我的目标是将其转换为具有两列单词和计数的数据框

items = list(Word_Counts.items())[:5]
items

输出:

[('Akdeniz’in', 14), ('en', 13287), ('büyük', 3168), ('deniz', 1276), ('festivali:', 6)]

当我使用 sc.parallelize 建立 RDD 时，我意识到它会删除所有值，并且当我创建表时仅保留键，它仅包含键。请让我知道如何使用 RDD 从字典建立数据框

rdd1 = sc.parallelize(Word_Counts)
Df_Hur = spark.read.json(rdd1)
rdd1.take(5)

输出:

['Akdeniz’in', 'en', 'büyük', 'deniz', 'festivali:']

Df_Hur.show(5)

输出:

+---------------+ 
|_corrupt_record|
+---------------+ 
| Akdeniz’in|
| en| 
| büyük| 
| deniz| 
| festivali:| 
+---------------+

我的目标是:

   word       count
  Akdeniz’in    14
  en            13287
  büyük         3168
  deniz         1276
  festivali:    6

Answer 1

您可以将 word_count.items() 直接提供给 parallelize:

df_hur = sc.parallelize(word_count.items()).toDF(['word', 'count'])

df_hur.show()

>>>
+----------+-----+
|      word|count|
+----------+-----+
|Akdeniz’in|   14|
|        en|13287|
|     büyük| 3168|
|     deniz| 1276|
|festivali:|    6|
+----------+-----+