cloud - 谷歌云在虚拟机之间共享数据

标签 cloud google-cloud-platform gpu google-compute-engine file-transfer

我希望在具有 GPU 的 Google 计算引擎上创建虚拟机,以便执行某些任务。

现在的问题是,从我的本地网络上传到虚拟机的数据很大,而且我受到缓慢且不可靠的互联网的严重限制。我知道使用 SCP 在 UNIX 机器之间进行文件传输,但即使这样也需要几个小时才能完成,这意味着我的 GPU 在线(最昂贵的组件)将处于闲置状态,并且我将无需支付任何费用。

我曾想过先将文件传输到虚拟机,然后添加 GPU,但在这种情况下我无法编辑虚拟机以添加 GPU。

因此,我需要两种可能的解决方案的帮助。

我是否可以向一台虚拟机添加永久磁盘、传输数据、生成新虚拟机并将磁盘转移到新虚拟机?如果是的话怎么办?

是否可以编辑现有虚拟机以在创建后添加 GPU 实例?如果是的话怎么办?

任何形式的帮助将不胜感激。谢谢!

最佳答案

以下是一些建议:

  • 将您的数据上传到 Google Cloud Storage存储桶,然后在需要时将数据从存储桶提取到虚拟机(与将数据从本地计算机复制到虚拟机相比,这相对较快)。 GCS 还提供了 FUSE tool在您的虚拟机上安装 GCS 存储桶,然后能够根据需要读取/写入数据。 GCS 存储桶是此列表中最灵活的选项。

  • 您可以创建一个永久磁盘,将数据上传到其中一次。然后根据需要将其附加到基于 GPU 的虚拟机。您可以让多个虚拟机以只读模式同时连接同一磁盘。

  • 您可以对永久磁盘进行快照,并根据需要将快照还原到新的永久磁盘。这对于备份比您的主要用例更有用。

  • 考虑对数据进行分块和/或分片,以便在 GPU 上并行运行工作负载时可以通过管道从远程服务器(例如 GCS)提取数据。

关于cloud - 谷歌云在虚拟机之间共享数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44727175/

相关文章:

google-cloud-platform - 如何从 GUI 生成 Cloud Deployment Manager 配置 YAML?

tensorflow - 尝试导入 Tensorflow GPU 时出错

python - 如何确保我的 Keras/tensorflow 代码使用我的 MacBook Pro 的 AMD 显卡

python - 我如何才能在云端成功托管用 Python 编写的 Telegram 机器人(免费)?

azure - 如何在一台服务器上部署多个带有嵌入式tomcat的Spring boot应用程序

php - 在哪里存储云应用程序中的翻译?

kubernetes - 无法从Windows GKE pod中访问Internet

google-compute-engine - 如何获取 Google Compute Engine 实例的机器类型?

ffmpeg色彩空间转换速度

amazon-web-services - 为云构建 Erlang 应用程序