我正在尝试使用以下命令将数据从数据框 append 到现有的 parquet 文件:
dfModified
.write
.mode("append")
.parquet("/home/hduser/s_s_c/fadpd/fadpd.parquet")
但我不断收到这种异常:
Exception in thread "main" org.apache.hadoop.fs.FileAlreadyExistsException: Parent path is not a directory: file:/home/hduser/s_s_c/fadpd/fadpd.parquet
此外，我在开始时将 spark.speculation 设置为 false。 有谁知道我错在哪里？感谢您的帮助和时间!
最佳答案
对于所有试图在 parquet 文件中追加数据的人。您不能 append Parquet 文件。您需要重新创建一个新的，当您查询时，您需要查询所有这些:)
关于scala - 无法将数据 append 到 Parquet [FileAlreadyExists 异常]，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39331981/