apache-spark - 如何在 spark 2.4.1 中将 jdbc/partitionColumn 类型设置为 Date

标签 apache-spark apache-spark-sql databricks

我正在尝试使用 spark-sql-2.4.1 版本从 oracle 检索数据。
我尝试将 JdbcOptions 设置为如下:

    .option("lowerBound", "31-MAR-02");
    .option("upperBound", "01-MAY-19");
    .option("partitionColumn", "data_date");
    .option("numPartitions", 240);

但给出错误:
    java.lang.IllegalArgumentException: Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff]
        at java.sql.Timestamp.valueOf(Timestamp.java:204)
        at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation$.toInternalBoundValue(JDBCRelation.scala:179)

然后尝试如下
    .option("lowerBound", "2002-03-31"); //changed the date format
    .option("upperBound", "2019-05-02");
    .option("partitionColumn", "data_date"); 
    .option("numPartitions", 240);

仍然没有运气。
那么将日期作为“下限/上限”传递的正确方法是什么?
有没有办法指定/设置选项参数数据类型?

第二部分
正确检查了选项。
它们在执行查询之前被覆盖。
所以更正了。 ...现在该错误已解决。

但对于以下选项:
.option("lowerBound", "2002-03-31 00:00:00"); 
.option("upperBound", "2019-05-01 23:59:59");
.option("timestampFormat", "yyyy-mm-dd hh:mm:ss");

请求参数 :
query ->  ( SELECT * FROM MODEL_VALS ) T

它引发了另一个错误:
java.sql.SQLException: ORA-12801: error signaled in parallel query server P022, instance nj0005

ORA-01861: literal does not match format string

最佳答案

如果您使用的是 Oracle,请参阅 https://github.com/apache/spark/blob/master/external/docker-integration-tests/src/test/scala/org/apache/spark/sql/jdbc/OracleIntegrationSuite.scala#L441

val df1 = spark.read.format("jdbc")
      .option("url", jdbcUrl)
      .option("dbtable", "datetimePartitionTest")
      .option("partitionColumn", "d")
      .option("lowerBound", "2018-07-06")
      .option("upperBound", "2018-07-20")
      .option("numPartitions", 3)
      // oracle.jdbc.mapDateToTimestamp defaults to true. If this flag is not disabled, column d
      // (Oracle DATE) will be resolved as Catalyst Timestamp, which will fail bound evaluation of
      // the partition column. E.g. 2018-07-06 cannot be evaluated as Timestamp, and the error
      // message says: Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff].
      .option("oracle.jdbc.mapDateToTimestamp", "false")
      .option("sessionInitStatement", "ALTER SESSION SET NLS_DATE_FORMAT = 'YYYY-MM-DD'")
      .load()

关于apache-spark - 如何在 spark 2.4.1 中将 jdbc/partitionColumn 类型设置为 Date,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55965978/

相关文章:

mysql - 在已排名 x 次的项目中排名最低的项目

apache-spark - 使用 dataframe.schema VS dataframe.printSchema() 比较 pyspark 模式

azure - 如何在 Azure Databricks Notebook Run Now JSON 中提供集群名称

apache-spark - spark-avro 数据 block 包

scala - 如何将DataFrame中的struct映射到case类?

apache-spark - 将包含 JSON 字符串的列拆分为每个包含字符串中的一个键值对的列

java - Spark 和 Cassandra : requirement failed: Columns not found in class com. datastax.spark.connector.japi.CassandraRow : [mycolumn. ..]

apache-spark - 可以合并增加Spark DataFrame的分区

python - 在 pyspark 中,为什么 `limit` 后跟 `repartition` 创建完全相等的分区大小?