azure - 从本地 MySQL 提取数据并将其转换到 Azure Synapse 数据仓库

标签 azure etl azure-data-factory azure-synapse

我正在尝试在 Azure Synapse 中设置演示数据仓库。我想从本地 MySQL 数据库中提取数据,转换和聚合一些数据,并将其存储在 Azure Synapse Analytics 的事实/维度表中。

目前我有一个 Azure SQL 数据仓库和数据工厂的实例。我在数据工厂中创建了与 MySQL 数据库的连接,我的想法是,我可以使用此连接器作为新数据流的输入,该数据流会转换数据集并将其存储到我的目标数据集,该数据集链接到我的 Azure Synapse 数据仓库.

问题是,数据工厂仅支持某些 Azure 服务(例如 Azure Data Lake 或 Azure SQL 数据库)作为新数据流的源。

解决此问题的最佳实践是什么?创建 Azure SQL 数据库实例,将数据从本地 MySQL 数据库复制到 Azure SQL 数据库,然后将其用作新数据流的源?

最佳答案

此处的最佳实践是使用 ADF 管道中的复制事件将数据从 MySQL 传输到 Blob 或 ADLS G2 中的 Parquet,然后使用数据流转换数据。

关于azure - 从本地 MySQL 提取数据并将其转换到 Azure Synapse 数据仓库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61190574/

相关文章:

html - Azure 应用服务 - 访问 PWA webmanifest.json 时出现 CORS OAUTH2 错误

azure - Powershell 脚本不会列出过期的 key 保管库证书

etl - Apache NiFi 中处理器属性和流文件属性之间的差异

python - 我们可以将 Databricks 输出传递给 ADF 作业中的函数吗?

php - PHP 中的 Office 365 API

c# - 通过混合连接从客户端连接到 Azure Web 作业

python - 使用 SSIS 包中的 Python 脚本预测数据

sql-server - OLE DB 源到具有不同列的多个目标

azure - Azure 数据工厂中 Web 事件中 POST 请求的正文格式

azure - 如何根据 JSON 模式验证 JSON 源?