apache-spark - 如何配置 alb 在故障转移后指向新的主实例 (EMR)

标签 apache-spark aws-cloudformation amazon-emr failover aws-application-load-balancer

我们正在启动 ALB 来访问 EMR 服务的各种 UI。但是,当我们启用启动 3 个主节点的 EMR 的高可用性时,alb 将如何自动指出处于事件状态的新主节点。 ALB 不应将流量分配给辅助实例。它需要指向在给定时间充当主服务器的任何实例。

谢谢

最佳答案

您需要为此定制解决方案。例如,您可以设置一个 lambda 函数,该函数根据使用 MultiMasterInstanceGroupNodesRunningPercentage 指标构建的警报进行触发。一旦触发,lambda 函数就会取消向 ALB 的目标组注册旧集合,并注册一个新集合。

关于apache-spark - 如何配置 alb 在故障转移后指向新的主实例 (EMR),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68077946/

相关文章:

amazon-web-services - 在 AWS EMR 集群中哪里可以找到节点日志?

hadoop - Amazon Emr - 当我们拥有核心节点时,任务节点的需求是什么?

python - 在本地测试 Hive + spark python 程序?

json - "Encountered unsupported property Type"Route53 的 Cloudformation 错误

amazon-web-services - 从参数文件中读取创建更改集

apache-spark - AWS EMR Spark 应用程序 - CPU 和内存利用率不佳

apache-spark - 快速 Hadoop 分析(Cloudera Impala vs Spark/Shark vs Apache Drill)

java - 当我的spark作业出现内存不足错误时应该如何调试?

apache-spark - Google Cloud Dataproc 配置问题

amazon-web-services - AWS S3创建错误: "The event is not supported for notifications (Service: Amazon S3; Status Code: 400; Error Code: InvalidArgument"