hadoop - 使用 cloudera 管理器部署 hdfs core-site.xml

标签 hadoop cloudera cloudera-manager

我正在尝试使用 cloudera 管理器 (CDH5b2) 将 lzo 支持添加到我的配置文件中。

如果我将 io.compression.codecs 添加到服务范围的 hdfs 配置中,并部署配置文件,/etc/hadoop/conf.cloudera.hdfs/core-site .xml 现在包含新值。

但是,/etc/hadoop/conf.cloudera.yarn/core-site.xml有更高的优先级(update-alternatives --display hadoop-conf) ,当我开始 MR 作业时,不使用 hdfs core-site.xml 值。

显然,我可以简单地手动修改 yarn core-site.xml 文件,但我不明白如何部署 hdfs core-site.xml使用 cloudera 管理器正确归档。

最佳答案

有一个 MapReduce Client Environment Safety Valve,也称为 'MapReduce Service Advanced Configuration Snippet (Safety Valve) for core-site.xml' 在 mapreduce 配置下的 gui 中找到 ->Service-Wide->Advanced 将允许您添加任何不适合其他地方的值(value)。 (也有一个用于 core-site.xml。)

话虽如此,可在 Cloudera 的网站上找到详细信息:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_cdh5_install.html

关于hadoop - 使用 cloudera 管理器部署 hdfs core-site.xml,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23385229/

相关文章:

hadoop - 无法在 hadoop 文件系统中创建目录

hadoop - hive :无法访问数据库

hadoop - 如何在 hadoop 2.5.2 上启动和检查作业历史记录

hadoop - cloudera director客户端安装

hadoop - 在 MapReduce 中以最佳方式执行 HBase 查询

linux - Cloudera Manager 认证失败 : Exhausted available authentication methods

hadoop - 在同一台机器上的多个核心上运行 Map-Reduce 应用程序

hadoop - 中间有列的 Hive 表分区

hadoop - 我可以在本地计算机上的python上运行spark命令来hadoop吗?

apache-kafka - 来自 Kafka consumer_offset 主题的大量消息