python - 如何在 ipython 中将 Spark RDD 转换为 pandas 数据帧？

我有一个 RDD，我想把它转换成 pandas dataframe。我知道要将 RDD 转换为普通的 dataframe 我们可以这样做

df = rdd1.toDF()

但我想将 RDD 转换为 pandas dataframe 而不是普通的 dataframe。我该怎么做？

最佳答案

您可以使用函数toPandas() :

Returns the contents of this DataFrame as Pandas pandas.DataFrame.

This is only available if Pandas is installed and available.

>>> df.toPandas()  
   age   name
0    2  Alice
1    5    Bob

关于python - 如何在 ipython 中将 Spark RDD 转换为 pandas 数据帧？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34817549/