java - Spark Sql 不支持日期格式

Question

我尝试将日期文件与 sparkSql 一起使用，但它不起作用

例如 javaSparkSqlExample

我尝试添加 datecoloumn dob

在我添加的Person类中

作为日期的 dob 的 setter 和 getter

当尝试执行时

SELECT dob,name,age,count(*) as totalCount FROM Person WHERE dob >= '1995-01-01' AND age <= '2014-02-01';

还尝试在查询中使用 between also 而不是 <= & >= as well

/Volumes/Official/spark-1.0.2-bin-hadoop2$: bin/spark-submit --class "SimpleApp" --master local[4] try/simple-project/target/simple-project-1.0.jar 
Spark assembly has been built with Hive, including Datanucleus jars on classpath
2014-08-21 11:42:47.360 java[955:1903] Unable to load realm mapping info from SCDynamicStore
=== Data source: RDD ===
Exception in thread "main" scala.MatchError: class java.util.Date (of class java.lang.Class)

Answer 1

它仍然处于待定状态，而不是 Date 您可以在 Person 类中使用 Timestamp SPARK-2552

Spark SQL currently supports Timestamp, but not Date.

我们将不得不等待一段时间，直到 1.2.0 版本。

详细信息:

• 类型:改进改进
• 状态:开放
• 优先级:次要
• 决议:未解决
• 影响版本:1.0.1
• 修复版本:无
• 组件:SQL
• 目标版本:1.2.0