.NET ETL 流程

标签 .net etl pentaho rhino-etl

首先是一些背景;我们正在开发一个数据仓库,并对我们的 ETL 过程使用哪些工具进行一些研究。该团队非常以开发人员为中心,每个人都熟悉 C#。到目前为止,我已经看过 RhinoETL、Pentaho (Kettle)、Astrix Centerprise。 SSIS 退出的原因有很多,超出了这个问题的范围。

在这个时候,我倾向于像 RhinoETL 这样更面向开发人员的东西,因为这似乎是一组开发人员阻力最小的路径。其他更面向视觉设计师的产品是否带来了 RhinoETL 没有的任何东西?在评估这些 ETL 工具时,我应该注意哪些具体事项?是否还有其他工具需要我们研究?

最佳答案

最近我和我的同事在 RhinoETL 和 SSIS 之间做了一些简单的性能测试。对于简单的数据流,SSIS 似乎总是优于 RhinoETL(移动 2,000,000 条记录的速度大约快 30%)。如果您使用源代码控制(在我们的例子中是 TFS),您将无法轻松查看 dtsx 文件(SSIS 文件)版本之间的差异,其中使用 RhinoETL 进行开发允许您利用 TFS 功能。

如果您在数据仓库之上开发用户界面,则会看到 RhinoETL 的另一个优势。您可以在这两个程序之间共享代码。

尽管我们 SSIS 团队的一些成员来自 .Net 背景,但我们的管理层决定继续使用 SSIS 进行开发(尽管他们升级到了 SSIS 2008 —— 完全是另一个主题),因为他们觉得让开发人员学习 SSIS 比 .Net 更容易。网。

关于.NET ETL 流程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7641909/

相关文章:

pentaho - 从结果集中获取行并获取 Pentaho 数据集成中的变量用法

c# - 从电子邮件链接打开 iOS 应用程序

sql - 在 SSIS 中将逗号分隔的字符串拆分为多行?

etl - ETL 中的分层数据

pentaho - 无法在 Mac 上运行 Pentaho BI 服务器

mysql - Pentaho 中无法解析的日期错误

c# - 在 .NET Core 2.1 中使用通用主机正常关闭

c# - .NET IL .maxstack 指令如何工作?

c# - 如何在 Neo4j v2 中使用 Neo4jClient 创建节点?

mysql - 是否可以在 LOAD DATA INFILE 期间执行函数而不创建存储过程?