scala - SaveMode 在 Spark SQL 中不起作用

标签 scala apache-spark apache-spark-sql

我正在使用 SaveMode 选项运行 Spark SQL 示例,但出现以下错误。

val df = sqlContext.read.format("json").load("/user/root/spark/data/people.json")
df.select("name","age").write.format("json").save("Output",SaveMode.ErrorIfExist)


<console>:35: error: overloaded method value save with alternatives:
  ()Unit <and>
  (path: String)Unit
 cannot be applied to (String, org.apache.spark.sql.SaveMode)
              df.select("name", "age").write.format("json").save("Output",SaveMode.ErrorIfExists

我检查了文档,它说 SaveMode 已被弃用。我该如何解决这个问题?

任何建议。

最佳答案

你可以使用DataFrameWriter.mode方法:

df.write.mode("error").save(...)

df.write.mode(SaveMode.ErrorIfExists).save(...)

关于scala - SaveMode 在 Spark SQL 中不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36140725/

相关文章:

scala - 在 IntelliJ IDEA 中仅运行失败的测试

scala - 评估 Spark DataFrame 中的公式

scala - 从 Azavea Numeric 获取隐式 scala Numeric

apache-spark - 在EMR集群中运行Spark应用时在哪里指定Spark配置

apache-spark - 如何从 pyspark 连接到 Teradata?

java - Apache Spark Java 中的 regex_replace 问题

Scala 实例值范围

apache-spark - 在 Spark Streaming 期间有多少台服务器在监听?

apache-spark - 参数为动态的 Spark 滞后函数

scala - Spark 从 DataFrame 中删除重复行