hadoop - hadoop是oltp或olap软件,它可以实时工作吗?它用什么来代替任何现有系统?

标签 hadoop

我可以理解,它使用Google的Map Reduce算法将任务并行地拆分到多台计算机上以提高性能,并结合它们的结果以获得最终结果,但是我不能理解,除了它替代了传统rdms以外,还有什么方法?

最佳答案

Hadoop的核心只是HDFS(分布式文件系统)和MapReduce(并行处理计算框架)。如今,它已发展成为可以发挥很多作用的生态系统。 Hadoop中可能没有很多OLTP工作负载,但是可以肯定的是有OLAP工作负载。许多人将DW / BI(数据仓库和商业智能)工作负载转移到Hadoop。实时流和处理是一个突出的用例(使用 Storm 等。)。在可能的情况下,它并不是要取代任何系统,而是要解决当时尚不存在许多已建立系统/模式的互联网规模的问题。但是如今,凭借其庞大的生态系统和功能,它可以用于(替代)DW,NoSQL,流,消息传递,机器学习,SQL等..( list 不胜枚举)

关于hadoop - hadoop是oltp或olap软件,它可以实时工作吗?它用什么来代替任何现有系统?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40713189/

相关文章:

hadoop - 使用静态池cgroup限制Hue资源

arrays - Hive 数组类型的求和值

shell - 如何获取更新的记录以及从 RDBMS 表到 Hive 表的增量导入?

hadoop - reducer 需要什么?

java - 在Hadoop上运行Java程序

scala - 从文件读取的 flatMap 结果与作为字符串传递的同一行不同

hadoop - cassandra 和 hadoop - 实时与批处理

R Reducer 在 Amazon EMR 中无法正常工作

sorting - 如何对map reduce hadoop中的数据进行排序?

python - Reducer 通过 sys.stdin 获取多个键?