configuration - Hadoop 中 "io.sort.mb"的正确位置?

标签 configuration hadoop

我有点困惑,在 Hadoop 集群设置中,在“Real-World Cluster Configurations”部分,给出了一个示例,其中 io.sort.mb 和 io.sort.factor 等属性位于 core-site.xml 中。但在默认配置文件中,这些属性出现在 mapred-site.xml 中!!!我应该遵循哪一个?我可以随意把它放在任何地方吗?如果是,这三个配置文件(core、mapred、hdfs.xml)有什么区别?

是否有所有可能属性的完整列表?

非常感谢任何帮助..

编辑:反复试验我发现 io.sort.mb 属于 mapred-site.xml。

最佳答案

core-default.html , hdfs-default.html mapred-default.html具有所有属性及其默认值。

根据'Hadoop : The Definitive Guide'

core-site.xml 具有“Hadoop Core 的配置设置,例如 HDFS 和 MapReduce 通用的 I/O 设置。”

hdfs-site.xml 具有“HDFS 守护程序的配置设置:名称节点、辅助名称节点和数据节点。”

mapred-site.xml 具有“MapReduce 守护程序的配置设置:jobtracker 和 tasktrackers”。

查找有关配置文件的更多信息 here .

关于configuration - Hadoop 中 "io.sort.mb"的正确位置?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7538733/

相关文章:

java - 我必须同时放置 persistence.xml 和 hibernate.cfg.xml 吗?我部署的时候好像有冲突

javascript - 允许用户通过 json 对象配置设置

visual-studio-2010 - 是否可以将VS2010配置为始终以管理员身份运行?

hadoop - Impala Cloudera Manager 代理从该角色的 Web 服务器获得意外响应

Hadoop 无法启动 NodeManager

hadoop - org.apache.kylin.job.exception.ExecuteException : java. lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/typeinfo/TypeInfo 问题

configuration - phpunit 默认测试目录(用于 travis 集成)

c# - 在哪里存储可以在运行时修改的应用程序范围的设置?

hadoop - hadoop-任务完成后任务继续运行

java - 如何在 hadoop 中获取 IntWritable 的最大范围?