我有一个用于深度学习实验的大数据集(大约 50 GB)。我将在 Google Cloud Platform 提供的虚拟机实例上训练我的网络。所以我需要将我的数据集上传到虚拟机中。
我尝试使用带有以下命令的 gcloud 控制台:
gcloud compute scp --recurse C:\Users\Lenovo\Desktop\dataset root@instance-1:/home/Lenovo/dataset
它有效，但需要大约 50 小时才能结束。
有没有办法让这个过程更快？
我还有一个 Google Drive 存储库，用于存储我的数据集。可以直接从 Google Drive 下载到我的虚拟机吗？
我的虚拟机有 Ubuntu 18.04 LTS 版本的操作系统。
最佳答案
花费的时间将主要由网络上最慢的链接控制。让我们假设托管您的 GCP 虚拟机(计算引擎)的网络不会那样做。您的 Google Drive 也可能不是最慢的。运行 gcloud 的本地计算机的路径很有可能成为瓶颈。我的建议是在 GCP 上登录您的虚拟机并从您的数据中运行下载，据我所知，这些数据位于 Drive 上。
似乎有多种方法可以实现这一目标。
这将为您提供从本地 PC 访问但从 GCP 呈现的 GUI 环境。从那里您可以安装 Chrome(在 GCP 上)并访问您的云端硬盘并开始下载。
另一种方法是安装 Drive 数据访问工具。这是我通过 Google 搜索找到的示例，但其他示例可能有效:
https://www.howtoforge.com/tutorial/how-to-access-google-drive-from-linux-gdrive/
按照那里的食谱并将驱动器文件下载到您的 GCP 上。
如果您需要进一步的大数据工作，请考虑将您的数据放在 Google Cloud Storage 上，然后将应用其他选项。
见 transferring big data sets .
关于ubuntu - 将数据集从我的 PC 上传到 Google Cloud Platform 上的虚拟机实例的最佳方式，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56401732/