对于我们每天必须处理最少“2-3 TB”数据的业务用例,我正在对“Hadoop & Storm”进行分析。
不用说,“Storm”看起来令人印象深刻,因为它处理传入大数据的效率很高,但我不确定“Storm”是否有足够的能力处理“TB”的数据,同时为我提供真实的-时间结果与否?
谁能解释一下?
谢谢, 加金德拉
最佳答案
Storm 由 Twitter 开发。他们每天用它处理超过 8 TB 的数据。听起来这对你的情况应该足够了。 Afaik storm 是用于分布式计算的最佳流/实时系统。 hadoop 不适合它,因为作业启动时间长,而且不是流数据的 native 处理。
事实是,当您有足够的服务器能力和存储等时,两者都可以每天处理您希望的数据。
关于hadoop - "Storm"数据处理能力,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13248967/