我正在尝试使用 cloudera 管理器 (CDH5b2) 将 lzo 支持添加到我的配置文件中。
如果我将 io.compression.codecs
添加到服务范围的 hdfs 配置中,并部署配置文件,/etc/hadoop/conf.cloudera.hdfs/core-site .xml
现在包含新值。
但是,/etc/hadoop/conf.cloudera.yarn/core-site.xml
有更高的优先级(update-alternatives --display hadoop-conf
) ,当我开始 MR 作业时,不使用 hdfs core-site.xml 值。
显然,我可以简单地手动修改 yarn core-site.xml
文件,但我不明白如何部署 hdfs core-site.xml
使用 cloudera 管理器正确归档。
最佳答案
有一个 MapReduce Client Environment Safety Valve,也称为 'MapReduce Service Advanced Configuration Snippet (Safety Valve) for core-site.xml' 在 mapreduce 配置下的 gui 中找到 ->Service-Wide->Advanced 将允许您添加任何不适合其他地方的值(value)。 (也有一个用于 core-site.xml。)
话虽如此,可在 Cloudera 的网站上找到详细信息:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_cdh5_install.html
关于hadoop - 使用 cloudera 管理器部署 hdfs core-site.xml,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23385229/