apache - MR1 和 MR2 有什么区别?

标签 apache hadoop mapreduce cluster-computing

我想知道 mapreduce 1 和 mapreduce2 之间的详细区别。 YARN 的加入实际上给 Hadoop 添加了什么? 我是一个想学习 Apache Hadoop 的初学者。 谁能建议从哪里开始。 还有什么是 Hadoop 的集群设置。 感谢您提供的所有帮助。

最佳答案

在 Hadoop2 中,Apache 将 map/reduce 进程的管理与集群的资源管理分开(YARN = 新的资源管理器)。这种分离允许一个特化有两件事,即 YARN 是一个比我们在 MR1 中更好的资源管理器。它还实现了多功能性——资源管理器可以支持其他范例,而不仅仅是映射/减少,实际上我们看到了 YARN 可以管理的很多东西,比如 Tez。 , Hama , Storm甚至 HBase

您可以结帐HortonWorks YARN page作为了解 Yarn 是什么以及它的作用的一个很好的起点

关于apache - MR1 和 MR2 有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18577988/

相关文章:

hadoop - 从谷歌云存储直接下载文件到 HDFS 和 Hive 表

hadoop - Hive bucketing 生成的文件比预期的多,为什么?

hadoop - Map reduce 复制输出文件,以便在配置单元中放入不同的表

hadoop - Pig 中的 SimpleTextLoader UDF

linux - 在网络服务器上备份文件!和〜

php - 在使用 ini_set ('max_execution_time' , 0);

PHP 查询字符串限制

sql - sql中如何计算某列的连续行数

mongodb - MongoDB中MapReduce的优化问题

java - Apache CXF 未释放客户端