想象我有一个三胞胎:
val RecordRDD : RDD[Int, String, Int] = {
(5 , "x1", 100),
(3 , "x2", 200),
(3 , "x4", 300),
(5 , "x1", 150),
(3 , "x2", 160),
(5 , "x1", 400)
}
如何有效地将它们按前两个元素分组并按第三个元素排序?例如制作:
[5 , [ "x1" -> [100, 150, 400] ]
[3 , [ ["x2" -> [160, 200]], ["x4" -> [300]] ]
我正在寻找一种有效的方法。
我应该将其设为 DataFrame 并使用 GroupBy(Col1,Col2) 和 SortBy(Col3) 吗?
这样会比Spark RDD的groupBy效率更高吗?
AggregateByKey 可以同时聚合 2 个键吗?
*你可以假设这个 RDD 非常大!提前致谢。
最佳答案
您没有提及您正在运行哪个版本的 Spark,但使用 RDD 执行此操作的一种方法如下:
val result = RecordRDD
.map{case(x, y, z) => ((x,y), List(z))}
.reduceByKey(_++_)
.map{case(key, list) => (key._1, Map((key._2 -> list.sorted)))}
.reduceByKey(_++_)
我不知道这是否是最有效的方法,但它非常有效;)
关于apache-spark - 如何在 Spark RDD 中按多个键进行分组?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40693569/