Scala Spark 数据框保持前导零

Question

我正在阅读以下 csv 文件:

id,hit,name
0001,00000,foo
0002,00001,bar
0003,00150,toto

作为带有 SqlContext 的 Spark Dataframe，它给出输出:

+--+---+----+
|id|hit|name|
+--+---+----+
|1 |0  |foo |
|2 |1  |bar |
|3 |150|toto|
+--+---+----+

我需要保留数据框中的前导零。 我尝试将选项“allowNumericLeadingZeros”设置为 true，但它不起作用。 我看到一些帖子说这是一个 Excel 问题，但我的问题是数据框内的前导零被删除。

如何在数据框中保留前导零？

谢谢!

Answer 1

公共(public)数据集 csv(字符串...路径)

加载 CSV 文件并将结果作为 DataFrame 返回。 如果启用了 inferSchema，此函数将遍历输入一次以确定输入模式。为了避免一次遍历整个数据，请禁用 inferSchema 选项或使用 schema 显式指定 schema。

您可以设置以下 CSV 特定选项来处理 CSV 文件:

• sep(默认，):将单个字符设置为每个字段和值的分隔符。

• 编码(默认 UTF-8):按给定编码类型解码 CSV 文件。

• quote (默认 "):设置用于转义引号值的单个字符，其中分隔符可以是值的一部分。如果要关闭引号，则需要设置为空字符串而不是 null .此行为与 com.databricks.spark.csv 不同。

• escape(默认):设置用于转义已引用值内的引号的单个字符。

• 注释(默认为空字符串):设置用于跳过以此字符开头的行的单个字符。默认情况下，它是禁用的。

• header(默认 false):使用第一行作为列名称。

• inferSchema(默认 false):从数据自动推断输入模式。它需要对数据进行一次额外的传递。

• ignoreLeadingWhiteSpace (default false): defines whether or not leading whitespaces from values being read should be skipped.

• ignoreTrailingWhiteSpace(默认 false):定义是否应跳过正在读取的值中的尾随空格。

• nullValue(默认空字符串):设置空值的字符串表示形式。从 2.0.1 开始，这适用于所有支持的类型，包括字符串类型。

• nanValue(默认 NaN):设置非数字值的字符串表示形式。 PositiveInf(默认 Inf):设置正无穷大值的字符串表示形式。

• negativeInf(默认 -Inf):设置负无穷大值的字符串表示形式。

• dateFormat(默认yyyy-MM-dd):设置指示日期格式的字符串。自定义日期格式遵循 java.text.SimpleDateFormat 中的格式。这适用于日期类型。

• timestampFormat(默认yyyy-MM-dd'T'HH:mm:ss.SSSZZ):设置表示时间戳格式的字符串。自定义日期格式遵循 java.text.SimpleDateFormat 中的格式。这适用于时间戳类型。

• java.sql.Timestamp.valueOf() 和 java.sql.Date.valueOf() 或 ISO 8601 格式。 maxColumns(默认20480):定义一条记录可以有多少列的硬限制。

• maxCharsPerColumn(默认 1000000):定义读取的任何给定值允许的最大字符数。

• maxMalformedLogPerPartition(默认 10):设置 Spark 将为每个分区记录的格式错误行的最大数量。超出此数量的格式错误的记录将被忽略。

• 模式(默认 PERMISSIVE):允许在解析期间处理损坏记录的模式。

• PERMISSIVE :当遇到损坏的记录时，将其他字段设置为空。当用户设置架构时，它会为额外字段设置 null。

• DROPMALFORMED :忽略整个损坏的记录。 FAILFAST :遇到损坏的记录时抛出异常。

参数:

路径 - (未记录)

返回: (无证) 自从: 2.0.0

https://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/sql/DataFrameReader.html

示例:

val dataframe= sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("/FileStore/tables/1wmfde6o1508943117023/Book2.csv")

val selectedData = dataframe.select("id","hit","name")

结果:

+---+---+----+
| id|hit|name|
+---+---+----+
|  1|  0| foo|
|  2|  1| bar|
|  3|150|toto|
+---+---+----+

现在更改 .option("inferSchema", "false")

val dataframe= sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "false") // Automatically infer data types
    .load("/FileStore/tables/1wmfde6o1508943117023/Book2.csv")

val selectedData = dataframe.select("id","hit","name")

结果:

+----+-----+----+
|  id|  hit|name|
+----+-----+----+
|0001|00000| foo|
|0002|00001| bar|
|0003|00150|toto|
+----+-----+----+