amazon-web-services - AWS数据管道: how to add steps other than data nodes and activities

标签 amazon-web-services amazon-data-pipeline

编辑

我在这里真正想问的是,大多数人是否使用“Architect”GUI 来构建他们的管道,或者大多数人是否只使用 JSON。 JSON 是访问某些功能的唯一方法吗?

/编辑

我刚刚开始使用 AWS,所以我希望这里有人可以帮助我。

我使用了“将 S3 数据加载到 RDS MySQL 表中”的模板来创建一个基本管道,该管道执行非常简单的插入:

enter image description here

出于学习目的,我想从头开始重新创建该管道,但我不知道如何向管道中添加不是事件或数据节点的任何内容。这必须通过 CLI 完成吗?当我尝试使用 Architect 中的“添加”按钮时,我只看到事件和数据节点的选项。

enter image description here

最佳答案

TaskRunner、先决条件、数据库、操作和资源只能从各自的事件和数据节点添加到管道中。

例如,可以将 RDSDatabaseSqlActivitySqlDataNodeMySqlDataNode 添加到管道中。

添加 SqlActivity -- 选择 数据库 -- 创建新的:数据库 :将数据库对象添加到管道。

enter image description here

数据库 -- 选择 类型 -- 选择类型:RDS数据库

enter image description here

关于amazon-web-services - AWS数据管道: how to add steps other than data nodes and activities,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43322426/

相关文章:

wordpress - 将 lightsail 实例从子域移动到子文件夹

amazon-web-services - aws ssm 发送命令在 Ubuntu 服务器中不起作用

bash - AWS Data Pipeline - 如何从 ShellCommandActivity 设置全局管道变量

django - 在 AWS 中运行 Django Python 服务器

amazon-web-services - Kubernetes 集群 x509 : Certifcate issue

amazon-web-services - 如何更改在 AWS 数据管道中运行的 Hive 事件的内存设置?

mysql - 从 RDS 到 S3 的 AWS 数据管道复制因通信链路故障而失败

amazon-ec2 - 在 Pipeline 的 EMR 集群中标记 EC2 机器(S3->DynamoDB 示例中的 ImportCluster)

node.js - 在AWS EC2中运行定制的mongo容器

hadoop - 使用 aws 自动化 Hive Activity