google-cloud-storage - gsutil 复制到存储失败

Question

我在 us-central1-a 区域的一个实例中工作，我无法复制 ~200GB 的文件。

我试过了 :

gsutil -m cp -L my.log my.file gs://my-bucket/

gsutil -m cp -L my.second.log my.file gs://my-bucket2/

经过几次“追赶”后，我收到以下错误:

CommandException:某些临时组件未成功上传。请重试此上传。
CommandException:无法传输 X 文件/对象。

有什么线索吗？

谢谢

Answer 1

如果 gsutil 的 parallel composite uploads feature，您会看到这条消息无法上传文件的至少一部分。

几个问题...

看到此消息后，您是否已经尝试再次执行此上传？

如果此错误仍然存​​在，请提供来自 gsutil -d cp... 的堆栈跟踪

如果您一直看到此错误并需要立即修复(如果这是并行上传的错误)，您可以设置 parallel_composite_upload_threshold=0在 GSUtil部分您的 boto 配置以禁用并行上传。