apache - 单节点集群(hadoop)中的最大容器是多少？

Question

我是 hadoop 的新手，我还不熟悉它的配置。

我只想问每个节点的最大容器

我正在使用单节点集群(6GB 内存笔记本电脑)

下面是我的 mapred 和 yarn 配置:

**mapred-site.xml**
map-mb : 4096 opts:-Xmx3072m
reduce-mb : 8192 opts:-Xmx6144m

**yarn-site.xml**
resource memory-mb : 40GB
min allocation-mb : 1GB

以上设置只能运行 4 到 5 个作业。最多 8 个容器。

Answer 1

在单个 NodeManager(hadoop worker)上运行的最大容器数取决于许多因素，例如分配给 NodeManager 的内存量以及应用程序的特定要求。

yarn.scheduler.*-allocation-* 的默认值是:1GB(最小分配)、8GB(最大分配)、1 核和 32 核。因此，最小和最大分配会影响每个节点的容器数。

因此，如果您有 6GB RAM 和 4 个虚拟内核，则 YARN 配置应如下所示:

yarn.scheduler.minimum-allocation-mb: 128
yarn.scheduler.maximum-allocation-mb: 2048
yarn.scheduler.minimum-allocation-vcores: 1
yarn.scheduler.maximum-allocation-vcores: 2
yarn.nodemanager.resource.memory-mb: 4096
yarn.nodemanager.resource.cpu-vcores: 4

上面的配置告诉 hadoop 最多使用 4GB 和 4 个虚拟核心，每个容器可以有 128 MB 到 2 GB 的内存和 1 到 2 个虚拟核心，使用这些设置你可以运行最多 2 个具有最大资源的容器一次。

现在，对于 MapReduce 特定配置:

yarn.app.mapreduce.am.resource.mb: 1024
yarn.app.mapreduce.am.command-opts: -Xmx768m
mapreduce.[map|reduce].cpu.vcores: 1
mapreduce.[map|reduce].memory.mb: 1024
mapreduce.[map|reduce].java.opts: -Xmx768m

使用此配置，理论上您最多可以在 4 个 1GB 容器中同时运行 4 个映射器/缩减器。实际上，MapReduce 应用程序主机将使用 1GB 的容器，因此并发映射器和缩减器的实际数量将限制为 3。您可以尝试内存限制，但可能需要进行一些实验才能找到最好的。

根据经验，您应该将堆大小限制为可用总内存的 75% 左右，以确保运行更顺利。

您还可以使用 yarn.scheduler.minimum-allocation-mb 属性为每个容器设置内存。

有关生产系统的更多详细配置，请使用此 document来自 hortonworks 作为引用。