aws-lambda - 使用 Lambda 启动和拆除集群

标签 aws-lambda aws-cloudformation amazon-emr

我正在尝试使用计划的 lambda 函数定期启动和拆除 EMR 集群。我正在考虑通过 CloudFormation 来完成此操作,也许使用 lambda 来启动 EMR 集群。我在网上找到的所有 Material 都是使用 CloudFormation 来启动 lambda 函数,但我想要相反的方式。有人有一些想法,或者可以向我指出一些正确的资源吗?非常感谢。

最佳答案

我研究了一个类似的用例,我想根据 s3put 事件启动一个集群,Hive 查询将数据加载回 s3 并拆除集群。

  1. 创建 lambda功能。您可以指定实例组、角色和应用程序等。
  2. 创建存储桶并设置事件通知以将触发器发送到 lambda 函数。 3.一旦在存储桶中创建了 s3 对象,就会创建一个 EMR 集群。登录AWS EMR控制台查看进度。

我在 blog 中有上述详细信息如果你有兴趣

关于aws-lambda - 使用 Lambda 启动和拆除集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42490133/

相关文章:

java - JsonReaderException ,当从 Android 调用 AWS lambda 函数时

amazon-web-services - 修改Terraform中自动生成的资源

amazon-web-services - 使用 CloudFormation 将证书附加到 ALB

aws-cloudformation - 将规则插入之前手动创建的 SG 中

hadoop - 在由script-runner.jar运行的aws emr脚本中引用文件

amazon-web-services - AWS Step Functions : Combine task input with *partial* task output

python-3.x - 关于 lambda 函数的 Sagemaker SDK

javascript - Serverless 无法导入模块 'handler' 错误

php - 使用aws php sdk将参数传递给配置单元脚本

hadoop - AWS EMR 上的 YARN 日志聚合 - UnsupportedFileSystemException