当我做 rhadoop 示例时,出现以下错误。
运行超出了虚拟内存限制。当前使用情况:已使用 121.2 MB 的 1 GB 物理内存;使用了 2.1 GB 的 2.1 GB 虚拟内存。杀死容器。
根据要求杀死容器。退出代码为 143
容器以非零退出代码 143 退出
hadoop 流式传输失败,错误代码为 1
我该如何解决?
我的 hadoop 设置。
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/usr/local/hadoop-2.7.3/data/yarn/nm-local-dir</value>
</property>
<property>
<name>yarn.resourcemanager.fs.state-store.uri</name>
<value>/usr/local/hadoop-2.7.3/data/yarn/system/rmstore</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.web-proxy.address</name>
<value>0.0.0.0:8089</value>
</property>
</configuration>
最佳答案
在 YARN 集群上运行 Spark 应用程序时,我遇到了几乎相同的错误。
“容器 [pid=791,containerID=container_1499942756442_0001_02_000001] 的运行超出了虚拟内存限制。当前使用情况:已使用 135.4 MB 的 1 GB 物理内存;已使用 2.1 GB 的 2.1 GB 虚拟内存。终止容器。强>”
我通过在文件 yarn-site.xml 中禁用虚拟内存检查来解决它
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
在我的情况下,这个设置就足够了。
关于r - 容器运行超出虚拟内存限制,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43441437/