hadoop - 现有 MapReduce 与 YARN (MRv2) 的区别

标签 hadoop mapreduce hadoop-yarn

谁能告诉我,现有的 MapReduce 和 YARN 之间有哪些区别,因为我没有发现这两者之间所有明显的区别?

P.S:我要求对这些进行比较。

谢谢!

最佳答案

MRv1 使用 JobTracker 创建任务并将其分配给数据节点,当集群扩展到足够大(通常大约 4,000 个节点)时,这可能成为资源瓶颈。

MRv2(又名 YARN,“Yet Another Resource Negotiator”)每个集群都有一个资源管理器,每个数据节点都运行一个节点管理器。对于每个作业,一个从节点将充当Application Master,监控资源/任务等。

关于hadoop - 现有 MapReduce 与 YARN (MRv2) 的区别,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18463090/

相关文章:

sql - Hadoop SQL - Impala 和计算字段

hadoop - HBase:主服务器未运行异常(HDP沙盒)

hadoop - sqoop 导出到 sql server 失败

java - Hadoop MultipleOutputs校验和

hadoop - Yarn Resource Manager UI 中的 Num Off Switch Containers 是什么意思?

apache-spark - Spark中的HDFS文件访问

java - 在 Map Reduce 作业 Hadoop 中使用文件中的数据作为 Hash-Map

hadoop - 在 Hive 中处理行时出现 Hive 运行时错误

java - Hadoop YARN 上的 JMH 基准测试

apache-spark - 从谷歌云中的 spark worker 获取日志输出