hadoop - 什么是 MapReduce 框架?

标签 hadoop architecture mapreduce frameworks

我有一个项目要做,我必须解释 MapReduce 是如何工作的。

名称本身是“MapReduce 框架”,所以问题就在这里。这是什么意思??谁能给我一个例子并向我解释我必须想象这个框架发生在哪里(互联网、云、工作节点……)?

非常感谢。

最佳答案

MapReduce 是 Google 开发的一个框架,用于抽象化分布式计算的复杂性。它允许您轻松地在大型分布式节点网络上并行计算。它可用于网络索引、排名、机器学习、图形计算、数据分析、大型数据库连接等。

Edmond Lau 解释了名称中的概念“Map 函数将输入从一种形式转换为另一种形式,Reduce 函数组合中间数据并产生输出。 Hadoop MapReduce 是受 Google 启发的流行开源框架。

一个例子是使用 MapReduce 来计算其搜索索引中数十亿网页中每个单词的频率。

关于hadoop - 什么是 MapReduce 框架?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36482913/

相关文章:

java - 在 hadoop 集群上运行 mapreduce java 程序

c++ - 哪种编程技术最能帮助您在错误投入生产之前避免或解决错误

java - 使用 hadoop reducer 在将批量写入操作写入 mongodb 时检查重复记录

hadoop - Mapreduce combinefileinputformat java.lang.reflect.InvocationTargetException 而两个作业访问相同的数据

hadoop - oozie 中的配置单元操作失败(在 cloudera CDH 4.1.1 上)

file - 从 UNIX 更改 HDFS 文件创建日期

c# - 企业设计模式问题

algorithm - Hadoop Mapreduce,如何使用map reduce输出重写在映射器中输入的txt文件?

apache-spark - 多次运行时在同一组数据上不同的Pyspark代码输出

java - 模块化 Spring 项目的架构