我们在 Snowflake 数据库中使用外部表,以便从某些 AWS S3 存储桶中读取数据。存储桶包含分布在多个分区上的各种 Parquet 文件。
我们可以使用 Snowflake 的阶段、存储集成和文件格式从外部表中读取数据。
但是,我们也想从 parquet 文件中读取一些元数据,例如数字数据类型的精度(例如,找出有多少我们必须处理的小数位)。
为简单起见,假设我们正在从一个 parquet 文件中读取数据。
有没有什么方法可以直接从 Snowflake 中检索关于数值数据类型精度的 Parquet 文件元数据?
或者您更愿意从 Glue Catalog 或任何其他外部工具中提取元数据?
最佳答案
最近有一个公共(public)预览版可以推断将执行此操作的架构:
INFER_SCHEMA(
LOCATION => '{ internalStage | externalStage }'
, FILE_FORMAT => '<format_name>'
)
https://docs.snowflake.com/en/sql-reference/functions/infer_schema.html
关于amazon-s3 - Snowflake - 如何从 S3 中的 Parquet 文件中读取元数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69284694/