我想将 pyspark.sql.dataframe.DataFrame
转换为 pyspark.rdd.RDD[String]
我将 DataFrame df
转换为 RDD data
:
data = df.rdd
type (data)
## pyspark.rdd.RDD
新的 RDD data
包含 Row
first = data.first()
type(first)
## pyspark.sql.types.Row
data.first()
Row(_c0=u'aaa', _c1=u'bbb', _c2=u'ccc', _c3=u'ddd')
我想将 Row
转换为 String
列表,如下例所示:
u'aaa',u'bbb',u'ccc',u'ddd'
谢谢
最佳答案
PySpark Row
只是一个 tuple
并且可以这样使用。您在这里只需要一个带有 list
的简单 map
(或者 flatMap
,如果您还想展平行):
data.map(list)
或者如果您期望不同的类型:
data.map(lambda row: [str(c) for c in row])
关于python - pyspark : Convert DataFrame to RDD[string],我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35457927/