java - 如何正确理解 yarn 容器?

标签 java hadoop containers yarn

我对 yarn 中的容器的概念感到困惑,我想知道容器是否已经在计划之前确定?还是在请求到达时动态创建?还是在启动节点管理器时将其初始化好?容器的大小在整个配置中是否固定?即。是否符合AM的要求?
我有很多问题,非常感谢。

最佳答案

容器代表单个节点上的资源。

  • 由节点管理器
  • 监督
  • 由资源管理器
  • 调度

    容器代表的资源包括诸如将要需要的RAM,CPU的时钟周期,磁盘空间等之类的内容,简而言之,是执行MR作业所需的所有资源。

    它是资源管理器,它根据应用程序主服务器的请求创建一个容器。因此,当我们提交Map Reduce作业时,它是要在其上运行map任务或reduce任务的那个节点上的应用程序主节点,它确定资源需求,然后向资源管理器发送请求,以在该节点上分配所需资源的容器,然后资源管理器检查其可能性,一旦满意,它将分配容器,现在应用程序主服务器将把该容器(实际上,容器只是有关所需资源的信息)带给节点管理器。然后,节点管理器将创建此容器,最后,我们的工作将在其中执行。

    现在来问您一个问题,尽管我确信到目前为止我已经回答了大多数问题,

    尽管尚不清楚您正在谈论哪种调度,但是在调度之前没有确定任何容器,但是我假设这是我们提交工作时使用的容器。

    是的,它们又是动态创建的,目前尚不清楚您在说哪个请求,但是我想我已经回答了创建哪个请求,这是从应用程序主控到资源管理器的一个

    否,容器的大小不固定。这取决于您的Map Reduce作业。

    我希望这能回答您的所有查询
    但是不过,我还是强烈建议您访问this link,以便您更加清楚。
    让我知道您是否还有任何疑问。

    关于java - 如何正确理解 yarn 容器?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42407246/

    相关文章:

    java - ActionListener编译错误-;预期

    hadoop - hbase(main):007:0>创建 'test', 'data'错误

    c++ - 将代码转换为 constexpr

    c++ - std::list 顺序有保证吗?

    java - 如何从 Eclipse 以 super 用户身份运行我的应用程序?

    java - 如何在列表中查找重复项并合并它们

    json - 用于在 hadoop 中读取 json 的自定义输入格式

    hadoop - 色相到底是什么?

    docker - 我们可以让两个或更多容器同时在docker上运行吗

    java - 显示来自 SQLite 数据库 android studio 的用户名