我希望在具有 GPU 的 Google 计算引擎上创建虚拟机,以便执行某些任务。
现在的问题是,从我的本地网络上传到虚拟机的数据很大,而且我受到缓慢且不可靠的互联网的严重限制。我知道使用 SCP 在 UNIX 机器之间进行文件传输,但即使这样也需要几个小时才能完成,这意味着我的 GPU 在线(最昂贵的组件)将处于闲置状态,并且我将无需支付任何费用。
我曾想过先将文件传输到虚拟机,然后添加 GPU,但在这种情况下我无法编辑虚拟机以添加 GPU。
因此,我需要两种可能的解决方案的帮助。
我是否可以向一台虚拟机添加永久磁盘、传输数据、生成新虚拟机并将磁盘转移到新虚拟机?如果是的话怎么办?
或
是否可以编辑现有虚拟机以在创建后添加 GPU 实例?如果是的话怎么办?
任何形式的帮助将不胜感激。谢谢!
最佳答案
以下是一些建议:
将您的数据上传到 Google Cloud Storage存储桶,然后在需要时将数据从存储桶提取到虚拟机(与将数据从本地计算机复制到虚拟机相比,这相对较快)。 GCS 还提供了 FUSE tool在您的虚拟机上安装 GCS 存储桶,然后能够根据需要读取/写入数据。 GCS 存储桶是此列表中最灵活的选项。
您可以创建一个永久磁盘,将数据上传到其中一次。然后根据需要将其附加到基于 GPU 的虚拟机。您可以让多个虚拟机以只读模式同时连接同一磁盘。
您可以对永久磁盘进行快照,并根据需要将快照还原到新的永久磁盘。这对于备份比您的主要用例更有用。
考虑对数据进行分块和/或分片,以便在 GPU 上并行运行工作负载时可以通过管道从远程服务器(例如 GCS)提取数据。
关于cloud - 谷歌云在虚拟机之间共享数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44727175/