scala - Spark Dataset聚合类似于RDD aggregate(zero)(accum, combiner)

Question

RDD 有一个非常有用的方法 aggregate，它允许累加一些零值并将其跨分区组合。有没有办法用 Dataset[T] 做到这一点。就我通过 Scala 文档看到的规范而言，实际上没有任何东西可以做到这一点。即使是 reduce 方法也只允许对以 T 作为两个参数的二元运算进行操作。有什么理由吗？如果有任何东西能够做到这一点？

非常感谢!

VK

Answer 1

有两个不同的类可用于在 Dataset API 中实现类似aggregate 的行为:

• UserDefinedAggregateFunction它使用 SQL 类型并将 Columns 作为输入。

  初始值使用initialize方法定义，seqOp使用update方法，combOp使用merge 方法。

  示例实现:How to define a custom aggregation function to sum a column of Vectors?

• Aggregator它使用带有 Encoders 的标准 Scala 类型，并将记录作为输入。

  初始值使用zero方法定义，seqOp使用reduce方法，combOp使用merge 方法。

  示例实现:How to find mean of grouped Vector columns in Spark SQL?

两者都提供额外的终结方法(分别为evaluate 和finish)，用于生成最终结果，可用于全局聚合和按键聚合。