google-cloud-storage - 从 Google Cloud Storage 中提取 RAR 文件

Question

我使用 RAR 实用程序(100GB 未压缩，20GB 压缩)得到了一个大的多部分压缩 CSV 文件，所以我有 100 个 RAR 文件部分，它们上传到 Google Cloud Storage。我需要将其解压缩到 Google Cloud Storage。如果我能在 GAE 上使用 Python 那就最好了。有任何想法吗？我不想下载、解压和上传。我想在云端完成这一切。

Answer 1

无法直接在云中解压/提取您的 RAR 文件。您知道 gsutil -m(多线程/多处理)选项吗？它通过并行运行来加速传输。我建议这个顺序:

下载压缩存档文件

在本地解压

使用 gsutil -m cp file-pattern dest-bucket

并行上传解压文件

除非您的 Internet 连接速度很慢，否则 20GB 不会花费很长时间(我预计不到一个小时)，对于并行上传也是如此(尽管这是您获得的并行度的函数，而这又取决于存档文件的大小)。

顺便说一句，您可以通过 gsutil -m 文件中的 parallel_thread_count 和 parallel_process_count 变量调整 $HOME/.boto 使用的并行度。