apache-spark - 在 csv 文件中写入数据帧会删除字符串列中的前导空格

Question

假设我有一个 csv 文件:

UserName
"Ali "
"Bilal "
"Ahsan "

当我在 Spark 中阅读此内容时，数据是正确的。

------------
- UserName -
------------
- Ali      -
- Bilal    -
- Ahsan    -

但是当我将其写回 csv 文件时，空格将被删除并且文件已输出

UserName
"Ali"
"Bilal"
"Ahsan"

任何帮助将不胜感激。谢谢

Answer 1

在编写时，使用选项ignoreLeadingWhiteSpace并且ignoreTrailingWhiteSpace为true。默认情况下，在 Spark 中写入 csv 时它们为 true，而在读取时为 false。请参阅:https://spark.apache.org/docs/latest/sql-data-sources-csv.html

df.write.format("csv").option("ignoreTrailingWhiteSpace",true)..option("ignoreLeadingWhiteSpace",true).save(path)

如果解决请采纳答案。