我正在尝试使用 AWS Glue 服务将一些数据从 redshift 传输到 S3。 Crawler 成功运行并在数据目录中创建元表,但是当我运行 ETL 作业(由 AWS 生成)时,它在大约 20 分钟后失败并显示“资源不可用”。
我看不到在 Cloudwatch 中创建的 AWS 胶水日志或错误日志。当我尝试查看它们时,它说“未找到日志流。找不到日志流 jr_xxxxxxxxxx。检查它是否已正确创建并重试。”
如果您能提供任何指导来解决此问题,我将不胜感激。
最佳答案
所以基本上,如果您的 Glue 所在的区域没有太多流量,您添加到 Glue 的作业就会运行。如果没有可用资源,您需要再次手动重新添加作业,或者您也可以bind yourself to events from CloudWatch via SNS .
此外,还有一些参数可以传递给作业,例如 maximunRetry
和 timeout
.
如果您有 Ressource not available
,它不会触发重试,因为作业没有失败,它甚至没有开始。但是如果你设置了 timeout
让我们说 60 minutes
,在那之后它会触发一个错误,减少你的重试池并重新启 Action 业。
关于amazon-web-services - 从 AWS Redshift 到 S3 的 AWS Glue ETL 作业失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45813020/