我在 Java Eclipse 上使用 Spark-core_2.10 jar。我在其中找不到任何reduceBykey 方法!我得到的关于reduce的建议是reduce和treeReduce。知道这里出了什么问题吗？
最佳答案
在 Java 中，PairRDD 存在更多麻烦(与自动推断类型的 Scala 相比，或者与运行时不考虑类型和期望元组的 Python 相比) )。由于 reduceByKey 需要知道 key ，它是 defined on JavaPairRDD类。
您可以通过调用 JavaRDD#mapToPair 从正常 RDD 获取JavaPairRDD 。您提供 PairFunction 返回元组，其中第一个元素被视为生成的 JavaPairRDD 中的键。
关于java - 在spark上找不到reduceByKey方法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39385284/