我有一个 MySQL 源,我正在从中创建一个具有谓词下推条件的 Glue 动态框架,如下所示
datasource = glueContext.create_dynamic_frame_from_catalog(
database = source_catalog_db,
table_name = source_catalog_tbl,
push_down_predicate = "id > 1531812324",
transformation_ctx = "datasource")
无论我在“push_down_predicate”中输入什么条件,我总是在“数据源”中获取所有记录。 我错过了什么?
最佳答案
下推谓词仅适用于分区列。换句话说,您的数据文件应该放在分层结构的文件夹中。例如,如果数据位于 s3://bucket/dataset/
并按年、月和日进行分区,则结构应如下所示:
s3://bucket/dataset/year=2018/month=7/day=18/<data-files-here>
在这种情况下,下推谓词仅适用于 year
、month
和 day
列:
datasource = glueContext.create_dynamic_frame_from_catalog(
database = source_catalog_db,
table_name = source_catalog_tbl,
push_down_predicate = "year = 2017 and month > 6 and day between 3 and 10",
transformation_ctx = "datasource")
除此之外,您必须牢记下推谓词仅适用于 s3 数据源。
这是一个不错的 blog post由 AWS Glue 开发人员编写的有关数据分区的文章。
关于mysql - AWS Glue 谓词下推条件无效,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51388993/