我的 S3 存储桶中有一个目录，其中包含许多格式相同的 .CSV 文件(名字、姓氏、位置、日期)。
我一直在尝试使用 Data Pipeline 将这些 CSV 文件的内容填充到 RDS MySQL 数据库表中。幸运的是，亚马逊已经为此操作提供了一个模板。
“将 S3 数据加载到 RDS MySQL 表中” http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-copys3tords.html
我已经填写了它要求的所有适当信息。
当我激活管道时，它会创建 CopyActivity 和 ShellCommandActivity。复制事件复制数据，如果 Shell 命令事件认为该表不存在，则创建该表。 Shell 命令事件成功连接到我的 RDS。
但是，我的问题是 ShellCommandActivity 在没有实际创建表的情况下切换到“FINISHED”状态，然后 CopyActivity 卡在“WAITING_ON_DEPENDENCIES”。整个过程大约需要 20 分钟。
我的所有角色都可以完全访问所有服务。
如果大家有什么见解，欢迎评论。我已经在这个问题上停留了将近 2 周了。
最佳答案
我会尝试使用从要创建的表中选择所有数据的 SQLActivity，这个新的 SQLActivity 将是 CopyActivity 的依赖项。
关于mysql - AWS Data Pipeline 将 CSV 从 S3 复制到 RDS MySQL，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36553233/