<分区>
我计划从 Hadoop 版本 1 更新到 Hadoop 版本 2。谁能告诉我(如果您尝试过 hadoop 版本 2)，版本 2 中的 MR/Hive/Pig 作业与版本 1 相比是否有任何性能改进？
<分区>
我计划从 Hadoop 版本 1 更新到 Hadoop 版本 2。谁能告诉我(如果您尝试过 hadoop 版本 2)，版本 2 中的 MR/Hive/Pig 作业与版本 1 相比是否有任何性能改进？
最佳答案
这是来自 apache 的注释.这些是改进的亮点。
这里简要概述了 HDFS 和 MapReduce 的改进。
HDFS 联盟 为了横向扩展名称服务，联邦使用多个独立的名称节点/ namespace 。 Namenodes是联合的，即Namenodes是独立的，不需要相互协调。数据节点被所有名称节点用作 block 的公共(public)存储。每个数据节点向集群中的所有名称节点注册。 Datanodes 发送定期心跳和 block 报告并处理来自 Namenodes 的命令。
HDFS 联合文档中提供了更多详细信息。
MapReduce NextGen 又名 YARN 又名 MRv2 hadoop-0.23中引入的新架构，将JobTracker的两大功能:资源管理和作业生命周期管理划分为独立的组件。
新的 ResourceManager 管理计算资源到应用程序的全局分配，每个应用程序的 ApplicationMaster 管理应用程序的调度和协调。
应用程序可以是经典 MapReduce 作业意义上的单个作业，也可以是此类作业的 DAG。
ResourceManager 和每台机器的 NodeManager 守护进程(管理该机器上的用户进程)构成了计算结构。
每个应用程序的 ApplicationMaster 实际上是一个特定于框架的库，其任务是从 ResourceManager 协商资源并与 NodeManager(s) 一起执行和监视任务。
关于performance - Hadoop 版本 1 与版本 2 性能对比，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21263432/