hadoop - 孤立的 Yarn 子进程会发生什么?

标签 hadoop hadoop-yarn hadoop2

Hadoop YARN 在子 VM 中启动 YarnChild 实例以执行实际任务。这些任务通过脐带接口(interface)与其 ApplicationMaster (AM) 通信。

我的问题是,如果 AM 死掉并且资源管理器 (RM) 无法启动它(例如,由于 AM 中的某些代码缺陷),会发生什么情况?在这种情况下,子任务将 (a) 由于心跳而注意到 AM 的缺失,然后 (b) 转到 RM 以获取新的 AM 位置,在这种情况下它们将无法获取。那么,这些孤立任务会怎样呢?我有一个想终止它们的场景。这是默认行为吗?他们的 NodeManager (NM) 会终止它们吗?

最佳答案

来自 Hadoop - 权威指南,第 6 章,失败,yarn 中的失败

After a crash, a new resource manager instance is brought up(by admin), and it recovers from the saved state. The state consists of node managers in system, as well as running applications. Here tasks are not part of resource managers state, as they are managed by application.

此外,据说资源管理器旨在能够从崩溃中恢复。

关于hadoop - 孤立的 Yarn 子进程会发生什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30759041/

相关文章:

java - 在Apache Spark上运行JPMML时出现UnmarshalException

hadoop - HDFS、HBase、Pig、Hive 和 Azkaban 之间的关系?

azure - 如何查询azure hdinsight hadoop集群yarn时间轴服务器

java - 记录 MapReduce 作业的标准做法

java - Object2ObjectOpenHashMap put 方法中的 NullpointerException

file - Hadoop MapReduce。无法打开文件以传递参数

hadoop - 如何删除 yarn 日志

java - 从 Java 应用程序在 hadoop 2.2 (Yarn) 上启动 mapreduce 作业

windows - start-all.cmd 在 Windows 中给出错误 "til.SysInfoWindows: Expected split length of sysInfo to be 11. Got 7"

hadoop - Hadoop 3.2 HDFS 客户端可以与 Hadoop 2.x HDFS 节点一起使用吗?