postgresql - ETL 工具还是临时解决方案?

标签 postgresql etl data-warehouse data-cleaning

我正在设计一个数据仓库系统,原始数据源有两个:文件(十六进制格式,记录结构已知)和PostgreSQL数据库。 ETL 阶段必须读取两个源(文件和数据库)的内容并组合/集成/清理它们。之后,加载数据到DW。

为此,工具(例如 Talend)或临时解决方案(使用编程语言编写临时例程)哪个更好?

最佳答案

我建议您使用 Bulk Loader将您的平面文件放入数据库。这允许您自定义加载规则,然后使用常规 SQL 处理/清理结果数据集(无需编写其他自定义代码)

关于postgresql - ETL 工具还是临时解决方案?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11454789/

相关文章:

java - 将数据从 Java 类插入数据库

postgresql - 如何通过检查列的时间来创建 CASE WHEN

PostgreSQL Order by 不起作用,它不根据顺序返回值

sql-server - 通过 SSMS 编辑 dtsx

sql - 是否可以使用 SSIS 将数据加载到 MongoDB?

database - 如何处理星型模式中的桥接表

java - MySQL : Define Non Key as Unique per Compound Key

ruby-on-rails - 在 Rails 4 迁移中设置自定义主键时出现问题

sql-server - 在没有集成服务的情况下访问 SQL Server .dtsx 包

elasticsearch - Elasticsearch和kibana,BI数据结构