我有一个问题:running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.
我的群集是:4x c3.4xlarge(datanode)和m3.2xlarge(namenode)，与我的配置相同，我只有1.4GB可用空间。
并解决此问题，我在此站点https://www.knowru.com/blog/first-3-frustrations-you-will-encounter-when-migrating-spark-applications-aws-emr/和其他站点中阅读，关键是更改yarn-site.xml并添加此配置yarn.nodemanager.vmem-check-enabled
但是，当我更改此配置时，保存并重新启动EMR中的resourcemanager，此配置未应用到配置页(EMR名称节点:8088 / conf)中，并且不起作用，但是默认情况下配置创建为EMR接受更改。
我如何在运行群集EMR的情况下更改配置？
我已经看到此设置仅需要在集群创建中进行配置，真的吗？
我该如何欺骗？
最佳答案
我正在接受此错误running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container，因为我的 Spark 驱动程序正在使用默认配置，因此我将此--driver-memory 5g配置放入我的spark-submit jar 中，并解决了我的问题。
就我而言只是这样。
关于apache-spark - 如何在EMR群集中的yarn-site.xml中插入配置，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50475887/