sql - 如何在 Spark SQL 中格式化日期?

标签 sql apache-spark pyspark apache-spark-sql date-format

我需要转换这个给定的日期格式:2019-10-22 00:00:00到这个:2019-10-22T00:00:00.000Z我知道这可以通过以下方式在某些数据库中完成:
在 AWS Redshift 中,您可以使用以下方法实现此目的:

TO_DATE('{RUN_DATE_YYYY/MM/DD}', 'YYYY/MM/DD') || 'T00:00:00.000Z' AS VERSION_TIME
但是我的平台是 Spark SQL,所以以上两个都不适合我,我能得到的最好的就是使用这个:
concat(d2.VERSION_TIME, 'T00:00:00.000Z') as VERSION_TIME
这有点hacky,但仍然不完全正确,有了这个,我得到了这个日期格式:2019-10-25 00:00:00T00:00:00.000Z ,
但是这部分 00:00:00在字符串的中间是多余的,我不能把它留在那里。
任何人在这里有任何见解将不胜感激!

最佳答案

这是我认为的自然方式。

spark.sql("""SELECT date_format(to_timestamp("2019-10-22 00:00:00", "yyyy-MM-dd HH:mm:ss"), "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'") as date""").show(false)
结果是:
+------------------------+
|date                    |
+------------------------+
|2019-10-22T00:00:00.000Z|
+------------------------+

关于sql - 如何在 Spark SQL 中格式化日期?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58774777/

相关文章:

sql - 限制sql查询中一列的连续值

scala - 在包对象中使用案例类时类型不匹配

sql - 什么是数据库关闭?

sql - Firebird 的 select 子句中是否可以有 bool 表达式?

java - Netbeans SQL 编辑器问题

hadoop - 哪个更快?带有 Where 子句的 Spark SQL 或在 Spark SQL 之后在 Dataframe 中使用过滤器

scala - spark dataframe 正在从 csv 文件加载所有空值

python - 波形符否定过滤掉空值

python - 如何选择具有最大值的行的所有列

apache-spark - 使用mapPartitions时,binaryFiles什么时候加载到内存中?