amazon-web-services - 使用 github 配置 EMR notebook

Question

我有一个正在运行的 EMR 集群，我正在尝试将笔记本链接到 github。

我有:

• 添加了对 EMR 角色的 AWS secret 访问(这是我的第一个错误)
• 向所有 EMR 安全组添加了出站 HTTPS/443

尝试使用我的用户/密码将笔记本链接到私有(private)存储库，但出现以下错误:

Unable to reach repository https://github.com/<my repo>. Ensure network and security groups have valid configurations. Ensure that the repository information provided is correct.

我在文档中看到它谈到了 NAT 和 VPG 选项，这两个我都没有。那有必要吗？文档在细节/配置方面非常简单。

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-git-considerations.html

感谢任何帮助。

Answer 1

您需要处理 4 件事:

1. git 仓库和目标分支应该存在

2. 配置凭据以使用 Secrets Manager 访问 Git

3. 您的 EMR 集群必须位于私有(private)子网中，而不是公共(public)子网中。您强制需要在您的 VPC 中有一个 NAT G/W，这个私有(private)子网应该使用它来连接到互联网，即配置您的路由表为此私有(private)子网将 0.0.0.0/0 映射到NAT G/W.

4. 您需要有 2 个安全组 (SG):

   我。主实例的 SG

   入站规则 - 允许来自 EMR Notebooks 默认 EC2 安全组中任何资源的 TCP 端口 18888

   出站规则 - 无

   二。笔记本实例的 SG

   我。主实例的 SG

   入站规则 - 无

   出站规则 - 允许 TCP 端口 18888 到 EMR Notebooks 默认 EC2 安全组中的任何资源。还允许笔记本通过集群将流量路由到互联网，例如HTTPS TCP 443 0.0.0.0/0

来源:https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-security-groups.html