hadoop 新版本 - HDP-2.6.3.0 失败，因为不必要的 repo 文件

Question

我们正在尝试在我们的 redhat 机器上安装新的 hadoop 版本 HDP 版本作为临时安装(redhat 7.3 版本)

HDP-2.6.3.0-centos7-rpm.tar.gz
ambari-2.6.0.0-centos7.tar.gz

在安装新的 HDP 版本之前，我们当前的 HDP 存储库是(在/etc/yum.repo.d 下)

所以关于我们已经存在 HDP 存储库，我们假设 hadoop 安装将使用这个 repo 进行安装

出 HDP 存储库的示例(master02 是 ambari 服务器机器)

more HDP.repo
[HDP-2.6]
name=HDP-2.6
baseurl=http://master02.sys56.com/HDP/centos7/2.6.3.0-235

path=/
enabled=1
gpgcheck=0

但是在安装HDP-2.6.3.0(蓝图安装)的过程中，我们看到了很奇怪的东西.....

尽管我们已经有了 HDP 存储库

蓝图安装推送另一个repo文件:(在/etc/yum.rep.d下)

如下:

more ambari-hdp-1.repo ( this repo not created on the previos version )

[HDP-2.6-repo-1]
name=HDP-2.6-repo-1
baseurl=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3


path=/
enabled=1
gpgcheck=0
[HDP-UTILS-1.1.0.21-repo-1]
name=HDP-UTILS-1.1.0.21-repo-1
baseurl=http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7


path=/
enabled=1
gpgcheck=0

问题是为什么？

我问这个是因为这个新的 repo 损坏了蓝图安装

Answer 1

TLDR；

您需要更改 hdp.repo 中的存储库信息文件以在安装软件包之前与新的 Ambari 文件匹配。您可以保留自定义 baseurl，但存储库 ID 需要与新文件匹配。

加长版:

Ambari 蓝图和 Hortonworks 存储库文件之间存在不一致。 Ambari Blueprint 使用以下文件来设置它的存储库:http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/HDP-2.6.3.0-235.xml
$ curl -sS http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/HDP-2.6.3.0-235.xml | grep "repoid" <repoid>HDP-2.6</repoid> <repoid>HDP-UTILS-1.1.0.21</repoid>
Ambari 自动添加 -repo-1在查找目标系统上的存储库之前到 reposit，因此我们得到:

HDP-2.6-repo-1

HDP-UTILS-1.1.0.21-repo-1

Hortonworks 在这里提供他们自己的 yum repo 文件:http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/hdp.repo
但存储库 ID 不同:
$ curl -sS http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/hdp.repo | grep "[][]" [HDP-2.6.3.0] [HDP-UTILS-1.1.0.21]
如果 Ambari 没有找到存储库(因为 ID 不同而没有找到)，那么它会添加它自己的存储库，这会破坏您的设置。