mysql - BI架构建议

标签 mysql data-warehouse business-intelligence talend

我想就我们的 BI 架构获得一些建议,该架构的维护非常复杂。

我在一家电子商务公司工作,我们的产品在 LAMP 系统(Linux Apache MySQL PHP)上运行。

每晚:

  • 我们的产品数据库 (MySQL) 中的数据使用 Talend 提取,然后插入另一个名为 DWH 的 MySQL 数据库作为数据仓库
  • 来自这个 DWH 的数据然后由 Jedox/Palo 提取以加载 OLAP 多维数据集,这些多维数据集由 Excel 与插件一起使用以进行恢复
  • 来自此 DWH 的数据也可以通过 Access/Excel 一次性报告访问,但这不是很好

每次我们需要修改现有工作流程或创建新报告时,都会有很多步骤和不同的技术要使用,这导致我们需要一个相当复杂的平台。

我可以做些什么来简化这个过程?

最佳答案

作为数据仓库加载过程的一部分,您应该能够使用提供的 Palo 组件使用 Talend 加载 Palo OLAP 表,这应该减少以与主 ETL 过程分开的方式执行 ETL 工作。

Roberto Machetto 的博客有一些 interesting tutorials关于如何执行此操作的信息,我相信互联网上有更多示例,当然您可以在这里询问您遇到的任何具体问题。

一旦您的所有数据正确加载到数据仓库和任何 OLAP 多维数据集,您的用户就应该能够在数据存储时对数据运行任何定制或其他查询。如果您看到用户无法访问适当的数据进行分析的情况,那么应该通过正确理解维度建模在初始数据仓库/OLAP 多维数据集加载中解决这个问题。

关于mysql - BI架构建议,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25508374/

相关文章:

php - MySQL JOIN - json 仅从一张表返回数据

mysql - 如何将 HubSpot 数据自动集成到 MySQL 数据库中?

mysql - 查询/过滤 CSV/Excel,其中不同行中的多个值对应于单行

mysql - 试图避免 "Polymorphic Associations"并维护外键参照完整性

database - 从 2 个表开始的星型模式

c# - 通过数据仓库以编程方式检索 TFS "instrumented binaries"的路径信息

mysql - 雪花图和多对多关系

data-warehouse - 慢慢改变的事实

ios - 将 Power Bi 嵌入到 iOS 应用程序中

visual-studio-2013 - 商业智能 - Visual Studio 2013 的 SSDT