hadoop - EMR 配置 json

Question

根据 http://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html#新的 EMR 版本 4.0.0 允许使用配置 json 文件来配置组件。也在看http://docs.aws.amazon.com//ElasticMapReduce/latest/ReleaseGuide/emr-configure-apps.html ，我有 json 结构:

[
 {
   "Classification": "mapred-site",
   "Properties": {
      "mapreduce.map.memory.mb": "4096",
      "mapreduce.map.java.opts": "-Xmx4096M"
   }
 },
 {
   "Classification": "hadoop-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "HADOOP_CLIENT_OPTS": "-Xmx4096M"
         }
       }
   ]
 }
]

Hadoop env 属性有效，但在创建 EMR 集群时，mapred-site 属性不会反射(reflect)出来。我总是可以从 Hive 设置这些属性，但是有什么想法可以让它与配置文件一起工作吗？

Answer 1

我遇到过类似的问题，但属于“hadoop-env”分类。

来自这篇文章:https://github.com/aws/aws-cli/issues/1502 我发现将关键字 (Classification, Properties, ...) 小写可以解决问题。

注意:我使用的是 AWS 控制台，而不是 CLI。