我的Kubernetes集群用于运行我的图形数据库(Dgraph)。但是,我必须将作为不同文件夹和文件而来的初始数据集(1TB)加载到Dgraph中。
我已经在本地处理了数据,现在可以将文件上传到6个不同的SSD永久磁盘上-有没有一种方法可以直接将其上传到磁盘上,还是需要使用Compute Engine实例并通过挂载来遍历磁盘,然后卸载它们?
最佳答案
我有一个建议,它可能比您在帖子中提到的方法更快,更简单。
大概您已经将持久性磁盘声明安装到了Pod上,这些声明将利用这些数据。
例如,假设您在Pod上的/ mnt / data中安装了一个永久磁盘声明。
可以使用'kubectl cp'命令将文件复制到Pod。我意识到您要上传的数据集非常大,并且会填充pods标准文件系统。但是,如果您已将持久性磁盘声明装入了将包含该Pod所使用的数据的Pod,则推测该已装入的存储足以容纳该数据。因此,您可以尝试使用“kubectl cp”将数据复制到Pod上的安装点,以便将其放置在已安装的卷上。
您可以运行以下命令来尝试:
kubectl cp datafile.csv NAMESPACE_NAME/POD_NAME:/mnt/data
除此之外,您可以考虑使用gsutil将数据上传到Cloud Storage,然后按照提到的here在节点上安装 fuse ,这将允许您将Cloud Storage安装到需要访问数据的Pod,尽管我意识到这可能不适合每个人都用例。
关于kubernetes - 有直接方法将文件上传到Google Cloud上的SSD永久磁盘吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50170530/