scala - 将 Spark Dataframes 的每一行转换为一个字符串，在 scala 中的每个列值之间有一个分隔符

Question

我想将 Spark Dataframe 的每一行转换为一个字符串，每列值之间有一个分隔符。

例如: 我有一个包含 3 列“firstname”、“lastname”、“age”的输入数据框“df”，其中有两条记录，如下所示。

第 1 行:John Abhraham 21 Row2:Steve Austin 22

我想创建一个只有一列的新数据框，其中包含如下数据。
第一行:约翰$亚伯拉罕$21 第 2 行:Steve$Austin$22

谁能帮忙做这件事。

Answer 1

我手边没有 Spark 外壳，但我认为这个衬垫应该可以做到:

def stringifyRows(df: DataFrame, sep: String): DataFrame 
  = df.map(row => row.mkString(sep)).toDf("myColumnName")

对于您的示例，您可以将其称为 stringifyRows(myDf, "$")。如果这不起作用，请告诉我错误消息是什么。