amazon-web-services - 从 AWS Redshift 到 S3 的 AWS Glue ETL 作业失败

标签 amazon-web-services amazon-s3 amazon-redshift aws-glue

我正在尝试使用 AWS Glue 服务将一些数据从 redshift 传输到 S3。 Crawler 成功运行并在数据目录中创建元表,但是当我运行 ETL 作业(由 AWS 生成)时,它在大约 20 分钟后失败并显示“资源不可用”。

我看不到在 Cloudwatch 中创建的 AWS 胶水日志或错误日志。当我尝试查看它们时,它说“未找到日志流。找不到日志流 jr_xxxxxxxxxx。检查它是否已正确创建并重试。”

如果您能提供任何指导来解决此问题,我将不胜感激。

最佳答案

enter image description here

所以基本上,如果您的 Glue 所在的区域没有太多流量,您添加到 Glue 的作业就会运行。如果没有可用资源,您需要再次手动重新添加作业,或者您也可以bind yourself to events from CloudWatch via SNS .

此外,还有一些参数可以传递给作业,例如 maximunRetrytimeout .

如果您有 Ressource not available ,它不会触发重试,因为作业没有失败,它甚至没有开始。但是如果你设置了 timeout让我们说 60 minutes ,在那之后它会触发一个错误,减少你的重试池并重新启 Action 业。

关于amazon-web-services - 从 AWS Redshift 到 S3 的 AWS Glue ETL 作业失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45813020/

相关文章:

visual-studio-2008 - 如何解决 AWS Elastic Beanstalk 部署错误

amazon-web-services - AWS::EC2::VPNConnectionRoute - 参数route=X.X.X.67/31 验证功能失败

amazon-web-services - 无法在 AWS Lambda 中使用 OpenCV-Python

amazon-web-services - AWS : Decrypt SES/KMS encrypted mails

amazon-web-services - 如何检测 Dart VM 崩溃的原因

json - 将堆栈标签传递到 Cloudformation 中的嵌套堆栈

maven - mvn部署不加载S3凭证

sql - 获取 Amazon Redshift 中列中特定值之后的下一条记录

python - 使用 psycopg2 和 Lambda 更新 Redshift (Python)

sql - 获取连续状态的行号并在更改时重置