scala - 错误 : value saveAsTextFile is not a member of scala. collection.Map[String,Long]

Question

我尝试了所有可能的方法，通过导入所有可能的库并检查与 saveAstextFile 或 saveAsSequenceFile 相关的所有问题的答案甚至没有帮助。因此启动一个新线程。 我收到错误消息“错误:值 saveAsTextFile 不是 scala.collection.Map[String,Long] countResult.saveAsTextFile("tmp/testfile") 的成员。 在尝试将 rdd 保存到HDFS。我正在按照以下步骤操作。

1.scala> import org.apache.spark.SparkFiles
import org.apache.spark.SparkFiles

2.scala> val countrdd = sc.parallelize(Array( "hadoop","spark","hadoop","spark")).map( k => (k,1))
countrdd: org.apache.spark.rdd.RDD[(String, Int)] = MapPartitionsRDD[17] at map at :28

3.scala> val countResult = countrdd.countByKey()
countResult: scala.collection.Map[String,Long] = Map(spark -> 2, hadoop -> 2)

4.scala> countResult.saveAsTextFile("tmp/testfile")
:33: error: value saveAsTextFile is not a member of scala.collection.Map[String,Long]
countResult.saveAsTextFile("tmp/testfile")

注意:我在独立集群上使用 Spark 2.X 版本。

Answer 1

像saveAstextFile 这样的方法只适用于RDD。 如果它是 RDD，您可以执行任意数量的转换，然后您可以使用这样的方法

但是如果您应用了任何操作，例如countByKey，那么这样的方法将不再可用。

您可以在此处使用 reduceByKey 而不是 countByKey 您可以找到有关此的更多详细信息 here在 RDD API 示例部分下。

或者你可以试试这个代码:-

val countrdd = sc.parallelize(Array( "hadoop","spark","hadoop","spark"))
val findRDD = .map(word => (word, 1))
                 .reduceByKey(_ + _)

希望这能解决您的问题

谢谢