我正在尝试编写一个简单的 spark 应用程序，当我在本地运行它时，它可以将 master 设置为
.master("local[2]")
但是在 AWS (EMR) 上配置 spark 集群后，我无法连接到主 url:
.master("spark://<master url>:7077")
是这样吗？我在这里错过了什么吗？ 集群已启动并正在运行，当我尝试将我的应用程序添加为步骤 jar 时，它将直接在它工作的集群中运行。但我希望能够从远程机器上运行它。
在此希望得到一些帮助， 谢谢
最佳答案
要从远程计算机运行，您需要在分配给您的 EMR 主节点的安全组中打开适当的端口。您至少需要添加 7077。
如果您所说的“远程”指的是不在您的 AWS 环境中的一个，您还需要设置一种方法来将流量从外部路由到它。
关于java - 如何配置连接到 AWS EMR spark 集群的 Java 客户端，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40405282/