我正在按照本指南在最新的 AMI/EMR 集群上安装 Spark:
http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-spark-launch.html
我想安装 Ganglia 来监控集群，所以我将 Name=Ganglia 添加到要安装的应用程序列表中:
aws emr create-cluster --name "Spark cluster" --release-label emr-4.0.0 --applications Name=Spark Name=Ganglia --ec2-attributes KeyName=myKey --instance-type m3.xlarge --instance-count 3 --use-default-roles
但我收到以下错误消息:
A client error (ValidationException) occurred when calling the RunJobFlow operation: Specified application: Ganglia is invalid
以下是我正在运行的版本:
aws --version
aws-cli/1.7.41 Python/2.7.7 Linux/2.6.32-431.29.2.el6.x86_64
最佳答案
Ganglia 不是 EMR 4.0 版本的一部分。
official API documentation显示以下有效值:“Hadoop”、“Hive”、“Mahout”、“Pig”和“Spark”。
看来 AWS CLI 文档不正确。
关于amazon-web-services - 无法在 EMR 4.0.0 上安装 Ganglia，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31697888/