hadoop - Amazon Elastic Mapreduce 默认配置

标签 hadoop amazon-ec2 emr

Hadoop 默认配置(core-site.xml、yarn-site.xml 等)是否由 Amazon 发布?我看到了一些已发布的参数,但没有看到全部默认配置。

最佳答案

您将在以下链接的 amazon emr 文档页面找到默认配置 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html

您可以找到触发作业的配置。您可以访问保存日志的 S3 位置。在那里你会找到 j-yourjoblogsfilelocation/jobs/job_1403597560615_0001_conf.xml。 _conf.xml 具有传递给作业的所有配置。它们是默认配置,除非我们覆盖它们。所以这将根据我们选择的盒子配置而有所不同。例如内存配置可能不同

关于hadoop - Amazon Elastic Mapreduce 默认配置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24336035/

相关文章:

hadoop - 我如何在新的 Hadoop API 中设置自定义输出提交者

ubuntu - ubuntu 用户更改的密码无法从实例创建新的 AMI

hadoop - Apache hive : How to convert string to timestamp?

hadoop - Apache Spark 在作业开始之前正在做什么

hive - AWS 雅典娜 : does `msck repair table` incur costs?

java - 如何在Hadoop中以编程方式获取每个 reduce task 的执行时间?

hadoop - Hbase排序效率

hadoop - org.apache.hadoop.hbase.client.NoServerForRegionException

amazon-web-services - 重启后无法通过公共(public)IP访问EC2实例

amazon-web-services - 结合使用 RDS 和 Digital Ocean Droplets