amazon-web-services - Glue Spark Scala 脚本检查文件是否存在于 S3 中？

Question

我是编写 AWS Glue 脚本的新手，我想检查是否有办法使用 Spark/Scala 检查 S3 存储桶中是否已存在 key 、文件或路径名？

谢谢!

Answer 1

是的，您可以使用像 this 这样的库，检查 S3 中是否存在文件。您必须将 jar 上传到 S3，以便可以在 Glue Job 中将其作为外部库引用。

另一种方法是使用 Filesystem.Get 方法，如下所示:

var sc = new SparkContext()
if(FileSystem.get(URI.create("s3://s3bucket/"), sc.hadoopConfiguration).exists(new Path("s3://s3bucket/")))
{
     println("File exists")
}