hadoop - hadoop是大数据空间中唯一的框架吗？

Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。

想改善这个问题吗？更新问题，以便将其作为on-topic用于堆栈溢出。

7年前关闭。

Improve this question

我目前正在学习hadoop，但是我经常想知道Hadoop是否是唯一支持分布式应用程序的软件框架。我想了解在大数据空间中是否存在除Hadoop之外的其他框架。

最佳答案

Hadoop替代品

• Apache Spark -开源集群计算系统，旨在使数据分析快速进行-快速运行和快速编写。

• GraphLab -重新设计的完全分布式API，HDFS集成以及各种新的机器学习工具包。

• HPCC Systems -(高性能计算集群)是解决大型数据问题的大型并行处理计算平台。

• Dryad -正在研究用于编写并行和分布式程序以从小型群集扩展到大型数据中心的编程模型。

• Apache Flink –开源分布式数据处理平台。分布式程序表示为DAG运算符(例如join，map，group，..)

• Storm -是一个免费的开源分布式实时计算系统。通过Storm，可以轻松可靠地处理无限制的数据流，从而可以进行实时处理，而Hadoop可以进行批处理。 Storm很简单，可以与任何编程语言一起使用，并且使用起来很有趣!

• R3 -是使用Redis后端以python编写的map reduce引擎。

• Disco -是基于MapReduce范式的分布式计算轻量级开源框架。

• Phoenix -是Google MapReduce模型的共享内存实现，用于数据密集型处理任务。

• Plasma -PlasmaFS是用于大型文件的分布式文件系统，在用户空间中实现。 Plasma Map / Reduce使用著名的算法方案来映射和重新排列大文件。 Plasma KV是PlasmaFS之上的键/值数据库

• Peregrine -是一种简化 map 的框架，旨在跨数据分区运行迭代作业。

• httpmr -用于具有Web群集的人员的可伸缩数据处理框架。

• sector/sphere -扇区是一种高性能，可伸缩且安全的分布式文件系统。 Sphere是一种高性能的并行数据处理引擎，可以使用非常简单的编程接口(interface)来处理存储节点上的Sector数据文件。

• Filemap -是一个轻量级系统，用于将Unix样式的文件处理工具应用于文件中存储的大量数据。

• misco -是为移动设备设计的分布式计算框架

• MR-MPI –是一个库，它是在标准MPI消息传递基础上为分布式内存并行机编写的MapReduce的开源实现。

• GridGain –内存中计算

完整列表- Projects other than Hadoop !

关于hadoop - hadoop是大数据空间中唯一的框架吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19310293/

上一篇：Hadoop 2.2.0 : "name or service not known" Warning

下一篇：macos - 在 OS/X 上找不到 Hadoop native 库

hadoop - newHadoopAPI中的多个输入路径可用于Spark读取Lzo文件

hadoop - 在配置单元查询的 SELECT 部分重用别名

hadoop - pig SUM FOREACH GROUP ClassCastException : java. lang.String 无法转换为 java.lang.Number

mysql - 将数据插入 HIVE 表时出错

php - 如何在MySQL中搜索包含330M行的60G表？

hadoop - 在 Apache pig 工作中获取今天的日期

scala - Spark 在 Yarn 集群上运行 exitCode=13 :

hadoop - 为什么 hive 中的CTAS查询没有得到预期的结果？

bigdata - 如果 kafka 的一个副本宕机以跟上复制因子，kafka 会创建一个新的追随者吗