java - 如何在 JavaPairRDD 上使用 max 方法

标签 java apache-spark

因此,我尝试在 JavaPairRDD 中使用 max,但无法使其工作。

JavaPairRDD<Integer, String> someRdd = (initialisation)

String maxValue = someRdd.max()  //not working

我的代码:http://ideone.com/0YXCJw

最佳答案

实现描述所需排序的比较器:

import scala.Tuple2;
import java.io.Serializable;

class DummyComparator implements 
      Comparator<Tuple2<Integer, String>>, Serializable {
   public int compare(Tuple2<Integer, String> x, Tuple2<Integer, String> y) {
        return -1;
    }
}

将其传递给 max 方法:

someRdd.max(new DummyComparator());

关于java - 如何在 JavaPairRDD 上使用 max 方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35385753/

相关文章:

java - PreparedStatement "eats"我的行结尾

java - 如何使用直接流在 Kafka Spark Streaming 中指定消费者组

python - 在 Pyspark 中连接多个 csv 时添加路径位置列

pandas - Pyspark、Spark SQL 和 toPandas().shape 中计数不一致的原因是什么?

scala - 我应该将 nullable 设置为 false 还是 true?

java - 使用Mysql ClusterJ jar文件连接到NDB集群

java - MappedByteBuffer 写入文件不起作用

java - android中的应用程序名称中心对齐

java - 使用HashTableMap计算第n个斐波那契数

python - 在 PySpark 中转置 RowMatrix