azure - 使用 Matillion 从 Azure 增量加载到 Snowflake

标签 azure azure-blob-storage snowflake-cloud-data-platform etl matillion

我想使用 Matillion ETL 执行从 Azure Blob 存储到 Snowflake 表的增量加载。有一个 JDBC 增量加载组件,但它适用于少数数据库,而 Snowflake 不是其中之一。 我尝试搜索文档但找不到任何内容。 有什么建议吗?

编辑: 在我的表更新组件的属性下

enter image description here

最佳答案

Blob 存储加载组件不支持更新或更新插入。为此,请使用 Azure Blob 存储加载组件加载到临时表。然后运行从暂存表中读取的转换作业,并使用带有附加选项的“表输出”组件(用于插入),或带有“不匹配时包含”选项的“表更新”组件(用于更新插入)

enter image description here

关于azure - 使用 Matillion 从 Azure 增量加载到 Snowflake,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69808147/

相关文章:

sql-server - 当我登录到 Azure 管理门户中的 master 数据库时,出现 "Create database permission can only be granted in the master database"

.net - Azure SAS token 无法与 Azure.Storage.Blobs BlobServiceClient 一起使用

azure - 如何在 Azure 中使用事件网格触发 C++ 代码?

sql - 如何在 Snowflake 的枢轴中使用 LISTAGG?

snowflake-cloud-data-platform - Snowflake - 集群表上的性能不佳

snowflake-cloud-data-platform - 故障安全使用量超过总使用量的一半

azure - 为什么 Azure 会双重拉取我的镜像以及生成的容器的 "losing track"?

azure - Azure DevOps 中的服务连接创建操作失败

azure - Trino、Iceberg 和 ADLS/Azure

javascript - 使用 REST API 将流上传到 Azure Blob 存储,无需 Azure SDK