hadoop - hadoop YARN内存和核心如何工作?

标签 hadoop frameworks mapreduce yarn hadoop2

在此之前,我已经读过有关hadoop YARN内存和在cluseter上设置的核心参数的信息。但是,我仍然不清楚该参数。还有关于容器的内容。 1个节点上只有1个或更多容器?并且在1个群集上只有1个或更多Application Application?

帮助我了解YARN上的容器,应用程序母版,内存和核心作品,

谢谢大家...

最佳答案

上图来自apache YARN web site。它对内部细节和功能给出了清晰的解释。

我们在/ conf的yarn-site.xml中为YARN设置参数。

属性yarn.nodemanager.resource.memory-mb可用于设置节点上YARN可以使用的最大RAM量。

<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value> 

属性yarn.scheduler.minimum-allocation-mb可用于设置容器的最小内存量。例如,如果我们有16 GB的内存,而yarn.nodemanager.resource.memory-mb是4GB。因此,我们还有12 GB的剩余空间,每个容器至少分配2GB的空间,因此我们最多可以有6个容器。
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>

从体系结构中,您可以清楚地看到我们将拥有不止一个应用程序主管。

关于hadoop - hadoop YARN内存和核心如何工作?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28978088/

相关文章:

mongodb - MongoDb聚合-分成时间段

java - Hadoop Map任务/Map对象

java - 在同一程序中处理 2 个版本的 hadoop 时,Hadoop jar 冲突问题

hadoop - 如何将存档或项目 Python 添加到 Hive

.net - 缺少 Visual Studio MSVCP110D.dll

python - 任何 python 套接字服务器框架?

mapreduce - 连接两个大型数据集的最佳策略

hadoop - 无法在AWS EC2实例上启动HDP2.6.1沙箱的大多数服务

sql - 从查询中的数值表达式返回的数据类型

c# - 桌面应用程序 : Architectural Frameworks?