Azure 数据工厂与 SSIS

标签 azure ssis azure-data-factory

我正在考虑将我们的 SSIS ETL 迁移到 Azure 数据工厂。我支持这种飞跃的论据是:

  • 我们的来源和目标已经在云端。 ADF 是云原生的,因此看起来很适合。

  • ADF 是一项服务,因此我们可以按需使用并付费。 SSIS 意味着许可成本,并且不会自然地用于按需消费(我们考虑使用 DevOps 临时运行 ETL 服务器)

  • 使用 SSIS 以编程方式生成 ETL 代码需要非常具体的技能,例如 BIML 或 DTS API。通过迁移到 ADF,我希望 JSON 与 USQL 中的 TSQL 和 C# 的结合将使必要的技能更加通用。

我希望社区成员能够分享他们的经验,从而帮助我做出决定。

最佳答案

这篇旧帖子的答案已经过时了。我的以下评论与 ADF 版本 2 相关。

首先,ADF 能够运行 SSIS 包,因此将旧的 ETL 流程移至此处并逐步移至 ADF 不仅是可能的,而且是推荐的。您不想用每一项新技术的出现来改变一切。然后,您只能对 ADF 事件实现新的或修改后的 ETL 流程。

其次,虽然可能还没有完全实现,但使用 ADF 数据流,您可以进行可以使用 SSIS 进行的转换。虽然还有一些缺失的地方,但大部分常用的功能都已经有了。

ADF 创作不需要 Visual Studio。它确实需要特定的技能,但我发现学习曲线并不陡峭。在某些领域,文档和最佳实践仍然有点缺乏,但是对于已经在数据库/数据仓库架构和 ETL 方面有经验的人来说,会发现它相对容易。它最好的一点是,大多数事情都可以直观地完成,而不会弄乱代码(只是简单的 JSON)。

此外,ADF 与 Azure Devops 集成并使用 Git 进行版本控制。因此您可以免费获得变更管理。

对于更高级的需求,您还可以使用 Java (Scala) 或 Python 运行 Databricks 事件,与 Hadoop(Hive 和 Pig)和 Spark 集成。

最后,ADF 包含了您必须在 SSIS 中自行构建的监控和诊断工具。您可以更轻松地查看哪个事件失败以及错误是什么。

关于Azure 数据工厂与 SSIS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35985352/

相关文章:

asp.net - 从 Linux 应用服务计划中托管的 .NET Core Azure Web 应用连接到 SQL Server 2016 时出错

c# - 从 C# 运行 Sql Server 代理作业

Azure数据工厂管道 'On Failure'

azure - 如何在突触分析工作区的日志分析工作区中获取错误详细信息日志

azure - 具有全局参数的数据工厂 foreach

azure - 复制文件上传过程 - Asp.net WebApi

Azure 函数 - ConnectionString 属性尚未初始化

azure - Azure Batch 中的任务失败和退出代码 -532462766

c# - SSIS 在脚本任务中显示变量值

sql-server-2008 - 删除插入后存在的重复条目