scala - 拆分字段并从一行 Spark-Scala 创建多行

Question

我是新手，我需要帮助解决这个问题。

我有一个这样的 csv 文件:

ANI,2974483123 29744423747 293744450542,Twitter,@ani

我需要拆分第二列“2974483123 29744423747 293744450542”并创建 3 行，如下所示:

ANI,2974483123,Twitter,@ani

ANI,29744423747,Twitter,@ani

ANI,293744450542,Twitter,@ani

有人可以帮助我吗？请!

Answer 1

flatMap 是您要查找的内容:

val input: RDD[String] = sc.parallelize(Seq("ANI,2974483123 29744423747 293744450542,Twitter,@ani"))
val csv: RDD[Array[String]] = input.map(_.split(','))

val result = csv.flatMap { case Array(s1, s2, s3, s4) => s2.split(" ").map(part => (s1, part, s3, s4)) }