apache-spark - Spark : Expansion of RDD(Key, List) 到 RDD(Key, Value)

标签 apache-spark key-value rdd

所以我有一个类似这样的 RDD

RDD[(Int, List)]]

RDD 中的单个元素看起来像
(1, List(1, 2, 3))

我的问题是如何将键值对扩展为这样的
(1,1)
(1,2)
(1,3)

谢谢

最佳答案

rdd.flatMap { case (key, values) => values.map((key, _)) }

关于apache-spark - Spark : Expansion of RDD(Key, List) 到 RDD(Key, Value),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36392938/

相关文章:

java - 在不同 map 上使用按键

java - 如何将 JavaPairRDD 转换为数据集?

python - 如何在 PySpark 中获得不同的字典 RDD?

scala - Spark : Euclidean distance element-wise between two columns of vectors

scala - 如何在单个查询中为不同类型的列计算流数据帧的统计信息?

apache-spark - 在不停止应用程序的情况下重新启动流式查询

c# - 有什么方法可以直接在 .NET 中更新 Dictionary 的 Key 元素吗?

Angular 6 类型错误 : Cannot read property 'e4b7...f' of undefined

apache-spark - Spark 只写入一个 hbase 区域服务器

postgresql - 从 Spark/pyspark 连接到 PostgreSQL