java - 相当于Java中Scala中的summaryStatistics

Question

我正在将一些 Java 代码移植到 Scala，需要提取一些非常基本的统计值，其中包括计数、最大值、最小值和长值流的平均值。

在Java中我用这个方法解决了这个问题:

public static Stats calcStats(Iterable<Ad> iterable) {
    LongSummaryStatistics longSummaryStatistics = StreamSupport.stream(iterable.spliterator(), false).mapToLong(Ad::getEvent_time).summaryStatistics();
    return new Stats(longSummaryStatistics.getMin(), longSummaryStatistics.getMax(), round(longSummaryStatistics.getAverage()),
            longSummaryStatistics.getCount());
}

Scala 库中是否有类似的方法可以一次性提取这些值(无需使用 Spark 等额外库)？

现在我正在使用一些与此类似的代码:

def main(args: Array[String]): Unit = {
  val l = List(("s1", 1L), ("s2", 2L), ("s3", 3L), ("s4", 4L))
  val stats = summaryStatistics(l.iterator)
  println("min: %d, max: %d, avg: %f".format(stats._1, stats._2, stats._3))
}

def summaryStatistics(iter: Iterator[(String, Long)]): (Long, Long, Double) = {
  val stats = iter.map((tuple: (String, Long)) => tuple._2)
    .foldLeft((Long.MaxValue, Long.MinValue, 0L, 0L))((a, t) => (Math.min(t, a._1), Math.max(t, a._2), a._3 + 1, a._4 + t))
  (stats._1, stats._2, stats._4 / (stats._3 * 1.0))
}

打印出:

min: 1, max: 4, avg: 2.500000

Answer 1

除了 C4stor，您还可以使用更多 Scala 集合，如下所示:

import java.util.LongSummaryStatistics

def main(): Unit = {
  val l = List(("s1", 1L), ("s2", 2L), ("s3", 3L), ("s4", 4L))
  // .view here is a trick to make it semantically more similar to Java Streams i.e. to avoid materializaiton of the mapped list
  val stats = summaryStatistics(l.view.map(_._2))
  println("min: %d, max: %d, avg: %f".format(stats.getMin, stats.getMax, stats.getAverage))
}


def summaryStatistics(col: TraversableOnce[Long]): LongSummaryStatistics = {
  col.foldLeft(new LongSummaryStatistics)((stat, el) => {
    stat.accept(el)
    stat
  })
}

或者，如果您想使用 LongSummaryStatistics 中实现的潜在并行支持，您可以使用 aggregate 而不是 foldLeft，例如:

def summaryStatistics(col: TraversableOnce[Long]): LongSummaryStatistics = {
  col.aggregate(new LongSummaryStatistics)((stat, el) => {
    stat.accept(el)
    stat
  }, (s1, s2) => {
    s1.combine(s2)
    s1
  })
}