amazon-web-services - 我们可以在 AWS 胶水或其存储位置查看或编辑 'job bookmark' 信息吗?

标签 amazon-web-services aws-glue

我创建了一个粘合作业并启用了作业书签,想查看粘合存储的元数据以跟踪处理的文件。

最佳答案

遗憾的是,客户无法获得 AWS Glue 作业书签详细信息。据我所知它是基于作业名、源文件名和transformationContext传递给 DynamicFrame 方法的字符串,如 getSinkWithFormat() , applyMapping() , getCatalogSource() .

除此之外Job.init()Job.commit()必须分别在脚本的开头和结尾调用才能使书签工作。

关于amazon-web-services - 我们可以在 AWS 胶水或其存储位置查看或编辑 'job bookmark' 信息吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51278784/

相关文章:

amazon-web-services - ETL : Flatten a nested array in an AWS glue job

amazon-web-services - 土耳其语 : transfer HIT from Sandbox to Production site

amazon-web-services - 适用于 AWS 上长时间运行查询的无服务器解决方案

amazon-web-services - AWS Codepipeline Github Webhook 未通过 cloudformation 注册

python - 导入错误: No module in AWS Glue job script- Python

amazon-web-services - 通过 AWS Glue 数据目录将 Spark DataFrame 写入 Hive 表

amazon-web-services - [XX000][500310] [Amazon](500310) 无效操作 : Parsed manifest is not a valid JSON object

node.js - 如何将 S3 扩展到每秒数千个请求?

amazon-web-services - 更新 AWS ECS 服务

amazon-web-services - 在 Glue 表 (RDS) 上运行 AWS Athena 查询时出现 HIVE_UNKNOWN_ERROR