apache-spark - 使用 Spark JDBC 时 DataFrame 列的自定义数据类型

Question

我知道我可以使用自定义方言在我的 db 和 spark 之间建立正确的映射，但是当我使用 spark 的 jdbc.write 时，如何创建具有特定字段数据类型和长度的自定义表模式选项？当我从 spark 加载表时，我想对我的表模式进行精细控制。

Answer 1

写入的灵活性很小，由

SPARK-10101 - Spark JDBC writer mapping String to TEXT or VARCHAR

SPARK-10849 - Allow user to specify database column type for data frame fields when writing data to jdbc data sources

但如果你愿意

to have granular control over my table schemas when I load a table from spark.

您可能需要实现自己的 JdbcDialect .它是内部开发人员 API，据我所知它是不可插入的，因此您可能需要自定义的 Spark 二进制文件(可能是 registerDialect ，但我还没有尝试过)。