scala - 将RDD的Iterable [(String,Double)]更改为数组或列表

标签 scala apache-spark

我有一个org.apache.spark.rdd.RDD[(String, (Double, Double), Iterable[(String, Double)])],但使用Iterable似乎很困难。有什么办法可以将其更改为Array[(String, Double)]吗?

最佳答案

您可以简单地使用Iterable.toArray

rdd.map{case (x, y, iter) => (x, y, iter.toArray)}

Iterable.toList
rdd.map{case (x, y, iter) => (x, y, iter.toList)}

关于scala - 将RDD的Iterable [(String,Double)]更改为数组或列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31925498/

相关文章:

scala - Play 迭代器 : error for simple file iteration

sql - 查找每个区域每小时最大数量的位置 ID

scala - 我是否遵循 BDD 规范?

Scala:我怎样才能让我的不可变类更容易子类化?

apache-spark - 为什么序列化的持久化 RDD 比反序列化的持久化 RDD 占用更少的内存

scala - Scala 中什么时候需要 @uncheckedVariance?为什么在 GenericTraversableTemplate 中使用它?

apache-spark - Spark-Streaming 最早在 kafka 开始偏移时挂起(Kafka 2,spark 2.4.3)

azure - 如何从使用 Azure Spark 创建的 parquet 文件在 Azure ML studio 中(通过 GUI)创建 Azure 数据集

scala - 初始化 SparkContext : A master URL must be set in your configuration 时出错

apache-spark - Pyspark:重新分区与分区