我正在尝试将函数中的两个 RDD 组合起来进行一些计算。我的代码如下:
def myCogroupFunction(teachers: org.apache.spark.rdd.RDD[Teacher], students: org.apache.spark.rdd.RDD[Student]) {
val teacherPairs = teachers.map { t =>
val nameKey: String = t.getName()
(nameKey.toUpperCase(), t)
}
val studentPairs = students.map { s =>
val nameKey: String = s.getName()
(nameKey.toUpperCase(), s)
}
teacherPairs.cogroup(studentPairs)
}
<小时/>
但是,我收到错误消息:
value cogroup is not a member of org.apache.spark.rdd.RDD[(String, com.abc.Teacher)]
我在这里做错了什么?非常感谢!
最佳答案
这应该有效,除非您使用旧版本的 Spark,在这种情况下,您需要通过以下方式导入使之成为可能的隐式:
import SparkContext._
关于java - scala 中的 cogroup 两个 RDD,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30654917/