scala - 如何在spark数据框中用\N替换空字符串

标签 scala apache-spark apache-spark-sql

如何用 \N 替换空字符串在 Spark dataframe .

我尝试了以下一个:

Df.na.replace(Seq("column1"),Map("" -> null)).na.fill("\N", Seq("column1"))

它向我抛出一个错误。

最佳答案

你必须像下面这样做

//Input df

+-----+-------+
| name|address|
+-----+-------+
|Manoj|Chennai|
|     |  Delhi|
|Alice|       |
+-----+-------+

//Replacement logic

df.na.replace(Seq("name","address"),Map(""->"\\n")).show

//Output df
+-----+-------+
| name|address|
+-----+-------+
|Manoj|Chennai|
|   \n|  Delhi|
|Alice|     \n|
+-----+-------+

关于scala - 如何在spark数据框中用\N替换空字符串,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51427874/

相关文章:

scala - 如何在 Spark SQL 中定义和使用用户定义的聚合函数?

hadoop - Hive的Apache Spark部署问题(集群模式)

scala - 我们能否使用多个 Spark session 来访问两个不同的 Hive 服务器

java - 为什么 UserDefinedAggregateFunction 中的 MutableAggregationBuffer 需要 bufferSchema?

scala - 如何使用功能状态生成随机数?

scala - s3中的数据分区

scala - SBT:具有可在 build.sbt 中访问的值的外部配置文件

apache-spark - 当我尝试将文件查找到HDFS中时出现NullPointerException Spark

scala - Spark 读取为 jdbc 返回所有行作为列名

scala - org.apache.commons.math3.线性.SingularMatrixException : matrix is singular