azure - Azure 流分析是否适合生成数据仓库事实表和维度表？

Question

我有以下场景，我正在考虑通过 Azure Stream Analytics 实现.

我的输入包括:

1. 事件从Azure Event Hub流入.
2. 与事件相关的引用数据。其中一些数据每天都在“缓慢变化”。

我需要连接事件和引用数据，处理它们并输出表，这些表将构成一个“数据仓库”(以Power BI作为消费者)。

输出将由以下部分组成:

1. 存储最重要事件的事实表。
2. 一些维度表，用于保存构成事实的值。

Azure 流分析适合这种工作吗？ 在我看来，ASA 非常适合将事件从事件中心流持久保存到事实表中。 但是，保持维度表最新的额外工作(即定期添加新值)并不合适。

我的分析正确吗？我应该切换到 Azure Data Factory对于我的项目？

Answer 1

Azure 流分析适合这种工作吗？并非如此。流分析是为云中的实时流处理而设计的。

正如您所指出的，保持维度表最新的额外工作(即定期添加新值)不适合 ASA(Azure 流分析)

对于此部分/功能，您可以使用 Azure 数据工厂 (ADF)，它是一种基于云的数据集成服务，可编排和自动化数据的移动和转换。这就是您所需要的。

此外，基于 Azure HDInsight Hadoop 可以实现 ETL 场景，您可以在此处查看“赛车遥测数据的 ETL 工作流”示例 https://msdn.microsoft.com/en-us/library/dn749886.aspx