Hadoop YARN概念

标签 hadoop

我以前在 JobTracker 中看到 Running Reduce Tasks 和 Reduce Task Capacity。在 YARN ResourceManager 中,我再也看不到它们了。

我们是否删除了它们?什么是容器,它与此有什么关系吗?

谢谢。

最佳答案

YARN 使用节点级资源管理器 (RM),在其中可以分配 M/R 任务(包括 Reducers)运行。 Application Master 跟踪您的 M/R 作业的进度,并且还可以访问 RM 提供的容器来运行任务。

请查看 RM 详细信息以进一步跟踪您的应用程序(/jobs/map/reduce 任务)

关于Hadoop YARN概念,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28226190/

相关文章:

java - 如何为mahout和hadoop添加maven依赖?

HADOOP - 在映射器中获取节点名

hadoop - MapReduce作业花费的时间

hadoop - 大量小文件Hadoop

hadoop - 什么是存储大量视频和处理过的数据的日志文件的最佳架构?

hadoop - 是否可以在 sqoop 类型映射中指定 DECIMAL 比例和精度?

hadoop - Oozie 和 Hue : why am I getting "permission denied" error while playing oozie workflow?

shell - 在oozie工作流中获取oozie作业信息

hadoop - 查询适用于Hive 1.x,但不适用于beeline

hadoop - Pig - 如何迭代一袋 map