scala - 带数组的 Spark 塞

This question already has an answer here:

LinkedHashMap variable is not accessable out side the foreach loop

(1个答案)

5年前关闭。

我有一个数组，当它在闭包内部(有一些值)但在循环外部时，该数组可以工作，但是数组大小为0。我想知道是什么导致这种行为？

我需要hArr可以在外部访问以用于批处理HBase放置。

val hArr = new ArrayBuffer[Put]()

rdd.foreach(row => {
  val hConf = HBaseConfiguration.create()
  val hTable = new HTable(hConf, tablename)
  val hRow = new Put(Bytes.toBytes(row._1.toString))
  hRow.add(...)
  hArr += hRow
  println("hArr: " + hArr.toArray.mkString(","))
})

println("hArr.size: " + hArr.size)

最佳答案

问题是rdd闭包中的所有项目均被复制并使用本地版本。 foreach仅应用于保存到磁盘或类似的东西。

如果要在数组中进行此操作，则可以先map，然后再collect

rdd.map(row=> {
  val hConf = HBaseConfiguration.create()
  val hTable = new HTable(hConf, tablename)
  val hRow = new Put(Bytes.toBytes(row._1.toString))
  hRow.add(...)
  hRow
}).collect()

关于scala - 带数组的 Spark 塞，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30443852/

上一篇：java - 文件名作为列-hadoop

下一篇：hadoop - Hbase中的三重复合键

相关文章：

sql - hive 计数和计数不同不正确

python - 如何将生成的 RDD 写入 Spark python 中的 csv 文件

scala - 如何从 spark-shell 从 S3 文件加载 RDD？

java - Spark : duplicate stages while using join

scala - Akka HTTP 编码(marshal)处理在幕后是如何实现的？

hadoop - 如何将分区添加到带有嵌套数据的配置单元表中？

java - 没有获取 PLAY_LANG 的正确值

csv - 在 Hadoop 中合并 CSV 文件

scala - Akka log-dead-letters 和 log-dead-letters-during-shutdown 不起作用

具有额外约束的 Scala 无形 KList