hadoop - 大数据/Hadoop项目的典型流程？

Question

我最近开始学习BigData技术，例如SQOOP，Hive，Pig，并发现可以使用多种替代方案(例如SQOOP，HiveQL等)来解决给定的问题。我对技术/工具的选择感到困惑。

如果大多数情况下您采用任何典型的Microsoft BI项目，流程将是

SSIS(用于处理原始数据)-> SSAS(用于创建OLAP DB)-> SSRS(用于生成报告)。

与此类似，BigData / Hadoop项目的典型流程是什么。假设我的数据源是“电子邮件日志”。

Answer 1

实际上，这取决于您的要求和所拥有的技能。我认为您可以通过多种方式处理电子邮件日志。

选件

(近实时)使用flume从源流式传输电子邮件日志--->将日志存储在HDFS的水槽中--->使用Pig或Hive分析日志。

(实时)使用Storm喷口流式传输电子邮件日志--->处理 Storm bolt 中的日志--->最终将其存储在nosql数据库中以进行进一步的报告和分析。

还有许多其他方法可以做到这一点。根据适合您要求的可用技能，您可以决定。