hadoop - "Storm"数据处理能力

标签 hadoop bigdata apache-storm

对于我们每天必须处理最少“2-3 TB”数据的业务用例,我正在对“Hadoop & Storm”进行分析。

不用说,“Storm”看起来令人印象深刻,因为它处理传入大数据的效率很高,但我不确定“Storm”是否有足够的能力处理“TB”的数据,同时为我提供真实的-时间结果与否?

谁能解释一下?

谢谢, 加金德拉

最佳答案

Storm 由 Twitter 开发。他们每天用它处理超过 8 TB 的数据。听起来这对你的情况应该足够了。 Afaik storm 是用于分布式计算的最佳流/实时系统。 hadoop 不适合它,因为作业启动时间长,而且不是流数据的 native 处理。

事实是,当您有足够的服务器能力和存储等时,两者都可以每天处理您希望的数据。

关于hadoop - "Storm"数据处理能力,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13248967/

相关文章:

hadoop - 是否可以从Avro数据中检索架构并在MapReduce中使用它们?

elasticsearch - 图形,文本和分析组合搜索

linux - 找不到用户目录的 Hadoop 命令

推式 Storm 喷口

java - 在本地运行 Storm 拓扑时出错

excel - 使用 Talend 将文本文件转换为 Excel

hadoop - 如何使用 wholeTextFiles 在 Spark 中读取 gz 文件

global - 我应该使用 Trident 来计算 Storm 中元组的全局平均值吗?

linux - SSh:拒绝连接到本地主机

apache-spark - json/文本格式的 Apache Spark DAG 可视化