kubernetes - 有直接方法将文件上传到Google Cloud上的SSD永久磁盘吗?

标签 kubernetes google-cloud-platform google-compute-engine google-kubernetes-engine dgraph

我的Kubernetes集群用于运​​行我的图形数据库(Dgraph)。但是,我必须将作为不同文件夹和文件而来的初始数据集(1TB)加载到Dgraph中。

我已经在本地处理了数据,现在可以将文件上传到6个不同的SSD永久磁盘上-有没有一种方法可以直接将其上传到磁盘上,还是需要使用Compute Engine实例并通过挂载来遍历磁盘,然后卸载它们?

最佳答案

我有一个建议,它可能比您在帖子中提到的方法更快,更简单。

大概您已经将持久性磁盘声明安装到了Pod上,这些声明将利用这些数据。

例如,假设您在Pod上的/ mnt / data中安装了一个永久磁盘声明。

可以使用'kubectl cp'命令将文件复制到Pod。我意识到您要上传的数据集非常大,并且会填充pods标准文件系统。但是,如果您已将持久性磁盘声明装入了将包含该Pod所使用的数据的Pod,则推测该已装入的存储足以容纳该数据。因此,您可以尝试使用“kubectl cp”将数据复制到Pod上的安装点,以便将其放置在已安装的卷上。

您可以运行以下命令来尝试:

kubectl cp datafile.csv NAMESPACE_NAME/POD_NAME:/mnt/data

除此之外,您可以考虑使用gsutil将数据上传到Cloud Storage,然后按照提到的here在节点上安装 fuse ,这将允许您将Cloud Storage安装到需要访问数据的Pod,尽管我意识到这可能不适合每个人都用例。

关于kubernetes - 有直接方法将文件上传到Google Cloud上的SSD永久磁盘吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50170530/

相关文章:

docker - 开类 : pods not being deleted

kubernetes - 将服务/Pod 加入本地网络

google-cloud-platform - 我可以将 Cloud Shell 与超过 5 GB 的持久存储一起使用吗?

java - GCP 上的多线程 (ExecutorService) Java

java - 在 Google Compute Engine 上接收 UDP 数据包

kubernetes - Istio 中单独的 VirtualService 和 DestinationRule 配置的必要性

kubernetes - 重写入口nginx的问题

google-bigquery - Google Dataflow 作业和 BigQuery 在不同区域失败

google-cloud-platform - GCE中抢占和手动关机的区别

google-cloud-sql - 导入 Google Cloud SQL 速度缓慢