c# - 是否有获取一些真实世界 ETL 示例的资源?

标签 c# etl

我完全相信我正在做的工作的很大一部分属于 ETL 这个领域,但我什至不知道这个术语在 3 个月前就存在了。我发现 SSIS 与我的技能组合有点不匹配,即我的直觉是,以深思熟虑的方式编写 C# 代码会给我我需要的结果(而且我的雇主不拥有它)。我开始研究 WF 是因为它看起来合乎逻辑,但我又回到最初的结论,即我确实需要了解问题领域的基础知识,当我这样做时, 最有意义的是利用我的经验并在 .net/c# 中编写解决方案代码(我是一个单人团队,这似乎没有改变)。到目前为止,我有一种同步器实用程序的大杂烩,正是在管理所有这些实用程序时开始出现的困难导致寻找这些知识。

问题 1 是:是否有资源可供我获取一些示例,说明如何将它们组合在一起,例如:

  • 从具有使用限制的 REST 服务中提取 --> 加载到数据库以实现(尽可能)实时(尽可能)同步
  • 从 QuickBooks 等内部第 3 方应用中提取 --> 加载到数据库
  • 监控数据库中的变化并以仔细跟踪的批处理更新外部系统(即,提取的相同信息被 LOB 应用更改,然后需要推回)

问题 2 是:我还没有掌握 T 部分将发挥作用的地方。到目前为止,我一直在提取表示一个系统中逻辑实体的信息并将它们推送到另一个系统中。

最佳答案

我没有您正在查看的确切场景的任何示例,但如果您想了解有关 ETL 本身的更多信息,您可以尝试查看 Ayende's site 上的文章。 .他有一个非常易于使用的 ETL 过程框架,称为 Rhino ETL .还有一段视频显示how to use it .

至于 T 部分的作用,T 代表 Transform。这是您可以(但不一定必须)更改数据形状的过程中的步骤。从一个数据源中提取后,您可以添加或删除字段、聚合信息、将对象分解为表、将表映射为对象等。这部分是转换步骤。然后继续将数据加载到新的数据存储或系统中。

希望对一些人有所帮助。

关于c# - 是否有获取一些真实世界 ETL 示例的资源?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5601637/

相关文章:

c# - 如何通过 SSIS 中的主包在 TFS 上运行包?

java - 如何在运行时创建和启动 spring batch 作业

sql-server - SSIS 派生列中的 URL 语法

C# WPF 应用程序在由使用 topshelf 创建的 Windows 服务启动时不显示表单

c# - Win32Exception:访问在 System.Diagnostics.ProcessManager.OpenProcess() 中被拒绝

c# - 如何在 C# 中将数组作为参数传递给 doWork

mysql - 我如何创建动态 json 数据来访问我的其余客户端

etl - 如何选择合适的大数据摄取工具?

c# - 如何以特定格式绑定(bind)日期时间列中的网格

c# - 使用linq从xml文件中查找