amazon-web-services - 一段时间后如何自动终止AWS EMR集群

Question

我目前手头有一个任务，要在一段设定的时间(基于某些指标)之后终止长时间运行的EMR集群。 Google Dataproc在此处列出的称为“群集预定删除”的功能中具有此功能:https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/scheduled-deletion

这在EMR上是可能的吗？也许使用Cloudwatch指标？还是我可以编写一个长时间运行的jar，该jar将位于EMR主节点上，并且只对 yarn 进行轮询以获取一些空闲时间度量，然后在设置的时间段后关闭集群？

编辑:更多说明。我想要一些功能，其中群集根据闲置时间x终止。例如如果集群已经启动了一段时间，但没有工作运行了1个小时，而集群只是坐在那里无所事事，那么我希望能够终止集群。

Answer 1

最简单的方法将用于Amazon EMR Metrics and Dimensions for Amazon CloudWatch。有一个isIdle bool 值，“表明集群不再执行工作”。

您可以创建一个CloudWatch警报，如果该警报显示True的时间超过x分钟，则触发该警报。这会将消息发送到Amazon SNS，后者可以触发Lambda函数以关闭集群。

组件:

Amazon CloudWatch警报

Amazon SNS队列

AWS Lambda函数

更新:这显然不合适(请参见下面的评论)。

另一种方法是:

使用 Amazon CloudWatch Events 每x秒调度一次Lambda函数

Lambda函数查找具有特定标签的任何群集，这些标签指示等待关闭的时间(例如40分钟)。如果标签不存在，则群集保持不变。

Lambda函数查询集群状态(以某种方式-可能通过Hadoop API调用)，然后:

如果集群处于空闲状态，并且没有“Idle since”标记，请添加一个具有当前时间戳记的“Idle since”标记

如果集群空闲，并且距Idle since标记中的时间戳超过x分钟，请终止集群。

如果集群不是空闲的，请删除“Idle since”标记(如果存在)