apache-spark-sql - SPARK SQl中的DATEDIFF

Question

我是Spark SQL的新手。我们正在将数据从SQL Server迁移到Databricks。
我正在使用SPARK SQL。您能否建议以下日期函数在SPARK sql中实现以下功能？我可以看到datediff在spark sql中仅给出几天。

DATEDIFF（YEAR，StartDate，EndDate）
DATEDIFF（月，开始日期，结束日期）
DATEDIFF（四分之一，开始日期，结束日期）

Answer 1

正如您提到的，SparkSQL确实支持DATEDIFF，但仅支持几天。我也要小心，因为参数似乎与Spark相反，即

--SQL Server
DATEDIFF ( datepart , startdate , enddate )

--Spark
DATEDIFF ( enddate , startdate )

但是，Spark确实支持类似的功能，称为months_between，可以代替DATEDIFF( month ...使用。此函数还会返回一个十进制数，因此可以选择将其强制转换为INT，以获得与

SELECT startDate, endDate, 
  DATEDIFF( endDate, startDate ) AS diff_days,
  CAST( months_between( endDate, startDate ) AS INT ) AS diff_months      
FROM yourTable
ORDER BY 1;

还有year和quarter函数分别用于确定日期的年和季度。您可以简单地减去年数，但是四分之一则更加棘手。可能是您必须“做数学”或最终使用日历表。