我一直在研究如何根据机器类型修改 EMR 为集群提供的默认值。
就我而言，这是一个非常基本的设置，将 m4.large 作为主节点，将 c3.2xlarge 作为核心，对于任务来说也是如此。 EMR 在任务中为此属性设置的值为 2880(来自 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html )。但是，我需要增加这个默认值。
我一直在尝试更改 Cloud Formation 模板中的此默认配置，但由于某种原因它不接受它。这是我要添加到 CF 模板中的内容，我似乎无法在网上找到任何这样的示例:
"Configurations" : [{
"Classification": "mapred-site",
"Properties": {
"mapreduce.reduce.memory.mb": "4096"
}}]
任何帮助将不胜感激!
最佳答案
我遇到了类似的问题，我的解决方案是将键名称从 Properties 更改为 ConfigurationProperties 因为 CF 中的语法似乎与您可以在 EMR 的配置部分中使用。
试试这个:
"Configurations": [
{
"Classification": "mapred-site",
"ConfigurationProperties": {
"mapreduce.reduce.memory.mb": "4096"
},
"Configurations": []
}
]
关于emr - 如何将mapreduce.reduce.memory.mb属性添加到Cloud Formation模板中的EMR集群？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40791980/