python - gcloud storage python client API是否支持并行复合上传?

标签 python gcloud gsutil google-python-api

gsutil 命令具有优化大文件上传/下载速度的选项。例如

GSUtil:parallel_composite_upload_threshold=150M
GSUtil:sliced_object_download_max_components=8

参见 this page供引用。

google.cloud.storage python API 中的等效项是什么? this document里面没有找到相关参数.

一般来说,客户端API和gsutil在功能上是一一对应的吗?

最佳答案

我认为它不受原生支持。

但是 (!) 如果您愿意分解文件然后使用 threadingmultiprocessing,有一个 compose应该可以帮助您将各个部分组装到一个 GCS 对象中的方法。

具有讽刺意味的是,gsutil 是用 Python 编写的,但它使用了一个库 gslib实现并行上传。您可以使用 gslib 作为模板。

关于python - gcloud storage python client API是否支持并行复合上传?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55249311/

相关文章:

python - Python 中的 NameError - 不确定是类还是函数导致了错误

python - Pandas :如何将不同列的数据框连接起来?

python - 处理本地文件和更新 Titan 图数据库的最佳方式

node.js - 如何使用 Google PubSub (@google-cloud/pubsub) 进行 ACK

google-app-engine - 运行 gcloud preview app setup-managed-vms 时出错

google-cloud-storage - 如何跳过 gsutil rsync 中的现有文件

python - 查找边权重为 1 的所有对的距离的最佳算法

python - 使用 gcloud ML 引擎时如何设置环境变量?

python - "gsutil rm"命令使用 STDIN

Firebase 存储不会启用 CORS