amazon-web-services - 如何使用包 AWSS3.jl 连接到在 EC2 实例上运行的 S3 存储桶？

Question

我正在尝试在 AWS 计算集群上使用 Julia，处理来自 Amazon S3 存储桶的数据。
我如何在 Julia 中使用 AWSS3.jl打开与 S3 存储桶的连接？
我特别想知道配置连接并随后使用 Julia 的配置的最佳方法是什么。

Answer 1

创建具有 S3 访问权限的 AWS 策略(特别是 PutObject 、 GetObject 等)

创建一个面向 EC2 的 IAM 角色并将第一步中的策略添加到该角色

将 IAM 角色分配给 EC2 实例(或者在为集群创建 EC2 实例时将其配置为在实例配置文件中使用)

现在您已准备好在 Julia 中工作。下面是一个将任何 Julia 对象序列化和反序列化到 S3 存储桶的简单示例。

using AWS, AWSS3, Serialization
struct SampleData
  a::Int
  b::String
end

d=SampleData(1,"sss")
aws = global_aws_config(; region="us-east-1")
b = IOBuffer()
serialize(b, d)

s3_put(aws, "your-s3-bucket-name","myfile.bin", b.data)

ddat = s3_get(aws, "your-s3-bucket-name","myfile.bin")
d2 = deserialize(IOBuffer(ddat))

@assert d == d2

如果您对第 1-3 点有任何问题，这里是教程:https://aws.amazon.com/premiumsupport/knowledge-center/ec2-instance-access-s3-bucket/