scala - 如何将 Scala Spark DataFrames 架构导出到 Json 文件?

标签 scala apache-spark dataframe apache-spark-sql spark-dataframe

我试过 df.write.json("myNewJson")虽然它不会引发任何错误或警告,但它只是不会在目标中创建任何文件。 df.write.format("json").save("/MyDir/")似乎也有同样的问题。我在这里遗漏了一些声明吗?

最佳答案

为那些可能偶然发现同样问题的人发布对我有用的确切代码..
我能够使用以下语句将 DataFrame 模式导出到 Json 文件:

import java.io._

val a = df.schema.json
val writer = new PrintWriter(new File("/home/file"))
writer.write(a)
writer.close()

关于scala - 如何将 Scala Spark DataFrames 架构导出到 Json 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49872319/

相关文章:

java - Spark-maven 全新安装 : How to compile both Java and Scala classes

scala - Apache Spark : how to cancel job in code and kill running tasks?

scala.sys.process.Process 抛出 RuntimeException

apache-spark - 如何在 spark 中输出分桶拼花文件?

scala - Spark 作业失败,退出状态为 15

scala - 关于 protected[some_scope] 和 scala 中继承工作的困惑

python - Spark - 将 DataFrame 转换为 RowMatrix 以有效计算所有对的相似度

python - 如何获取 1 列值并将其中一些值放入基于 bool 标志列的新列中?

python - 将多个数据帧合并为一个多索引数据帧

python - 我需要更改pandas数据框中的几列类型。无法使用iloc这样做