google-bigquery - BigQuery 将数据导出到一个大文件中

Question

BigQuery docs告诉我们每个请求的限制，一个文件不能超过 1 GB，这是事实，但并非总是如此。我进行了一次新的导出，结果令我惊讶的是，文件大小为 6 GB。这个大文件对我来说是个问题。

我可以采取哪些措施来减小文件大小？为什么 BigQuery 会处理这么大的文件？

Answer 1

BigQuery 导出文件大小各不相同，有时会分割成超过 1GB 的文件或分割成许多小文件。

有一个public issue已提交有关此问题的信息，但仅涉及文档更改以设置不同导出文件大小的期望

其他人似乎也遇到了这个问题:

• https://stackoverflow.com/questions/44117092
• https://stackoverflow.com/questions/51405594

您可以尝试进行新的导出，但如果导出文件大小始终高于 1GB，您可能 report for a public issue截至目前审查这种不可预测的行为。