amazon-web-services - 使用自定义资源 Lambda 运行爬网程序

Question

我正在尝试使用云形成创建和调用 AWS Glue 爬网程序。爬虫的创建部分(Dynamo DB 作为目标)位于 lambda 函数中。

如何使用云形成来实现这一切？即从 s3 中存在的 cod 创建 lambda 函数，创建 lambda 函数后，应该触发它来创建爬虫，然后应该调用爬虫来创建目标表。我希望这一切都是云的形成。

引用链接:Is it possible to trigger a lambda on creation from CloudFormation template

Answer 1

您应该编写cloudformation来部署爬虫。然后在你的ci/cd中，编写shell/python脚本来运行爬虫，通过cloudformation部署后。