对于给定的表
+--+--+
| A| B|
+--+--+
|aa|bb|
|cc|dd|
+--+--+
我想得到一个像这样的数据框：
+---+---+
|._1|._2|
+---+---+
|aa | A |
|bb | B |
|cc | A |
|dd | B |
+---+---+
使用Apache Spark和Scala。因此，基本上我想要元组在索引0处具有原始值，在索引1处具有列名称。这应该适用于任何任意模式。这意味着列数是事先未知的，据我所知，因此无法转换为数据集。
这是我尝试解决的方法：
val df = spark.read
.option("header", "true")
.option("sep",";")
.csv(path + "/tpch_nation.csv")
val cells = df.flatMap(tuple => {
tuple.toSeq.asInstanceOf[Seq[String]].zip(df.columns.toList)
})
cells.show()
但是，这会在flatMap函数内部生成一个
java.lang.NullPointerException。我很困惑哪个对象指向Null，以及如何解决该问题。
最佳答案
不要在闭包中使用df。单独使用列
val columns = df.columns
val cells = df.flatMap(row => {
row.toSeq.map(_.toString).zip(columns)
})
或完全不使用：
val cells = df.flatMap(row => {
row.toSeq.map(_.toString).zip(row.schema.fieldNames)
})
也：
Transpose column to row with Spark
unpivot in spark-sql/pyspark
Spark DataFrame column names not passed to slave nodes?
关于scala - 使用FlatMap使用Spark和Scala将列名称附加到元素，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48465784/