amazon-s3 - 如何将S3存储桶复制到Kubernetes节点上

标签 amazon-s3 kubernetes kops daemonset

我想在Kubernetes节点上将一个S3存储桶作为DaemonSet复制,因为新节点一旦启动就将获得s3存储桶副本,
我更喜欢将S3复制到Kubernetes节点,因为将S3作为AWS API直接复制到Pod将意味着多个调用,因为多个Pod需要它,并且每次Pod启动时都需要花费时间来复制内容。

最佳答案

假设您的S3内容是静态的,并且不会经常更改。我相信,除了使用 DaemonSet 以外,还可以使用一次Job将整个S3存储桶复制到本地磁盘上更有意义。在完全复制S3存储桶之前,尚不清楚如何向kube-scheduler发信号,通知您的节点尚未准备就绪。但是,也许您可​​以在作业完成之前 taint 您的节点,并在作业完成后删除污点。

还要注意,S3本质上很慢,并且一次只能用于处理(读取/写入)单个文件,因此,如果存储桶中有大量数据,则复制到节点磁盘将需要很长时间。

如果您的S3内容是动态的(不断变化的),那么它将更具挑战性,因为您必须同步文件。您的应用程序可能必须缓存体系结构,然后在该结构中转到本地磁盘以查找文件;如果文件不存在,则向S3发出请求。

关于amazon-s3 - 如何将S3存储桶复制到Kubernetes节点上,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53047638/

相关文章:

ruby-on-rails - Rails Paperclip S3 ArgumentError(缺少必需的 :bucket option):

ruby-on-rails - Carrierwave 在本地上传图像,而不是到 S3

kubernetes - cronjob 在 AWS EKS 集群中使用 UTC 时区运行

kubernetes - 如何使用 Prometheus Alert Manager 在 Kubernetes 中触发警报

amazon-web-services - Kubectl:使用 route53 私有(private)托管区域访问 kubernetes 集群

python - 在 AWS Lambda 中重用 scikit 学习模型 .pkl

android - 将图片从图库上传到 s3 存储桶 - 创建文件对象?

kubernetes - K8s : app. kubernetes.io 实例标签用途

amazon-web-services - Master无法连接到集群

Kubernetes 主节点不附加 FlexVolume