我们正在从本地环境迁移到 Google Cloud Dataproc 来处理 Spark 作业。我可以构建集群并通过 ssh 连接到主节点以执行作业。我不清楚如何构建允许用户登录并提交作业的边缘节点。它会是另一个 gce 虚拟机吗？有什么想法或最佳实践吗？
最佳答案
新的 VM 实例是从其他架构映射 EdgeNode 角色的不错选择:
您可以从主节点执行您的作业，您可以通过 SSH 访问该主节点。
您需要在简单性 (SHH) 或安全性 (EdgeNode) 之间找到平衡。
请注意，IAM 可以帮助允许个人用户通过分配 Dataproc Editor role 来提交作业。 .
不要忘记 Dataproc 提供的创建临时节点的功能。这意味着您创建一个集群、执行作业并删除集群。
使用临时集群可以避免不必要的成本。甚至，您为其创建的脚本可以从任何安装了 Google Cloud SDK 的计算机执行，例如OnPrem 服务器或您的 PC。
关于google-cloud-platform - 如何构建 Google Cloud dataproc 边缘节点？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56477193/