csv - 将大型 CSV 加载到 Google BigQuery 时出错

Question

将大型 CSV 加载到 bigquery 时出错。我在网上阅读的任何地方都看到压缩文件的大小限制为 5gb，但 CSV 没有限制。

加载操作中的 BigQuery 错误:错误处理作业“bqjob_r3016bbfad3037f_0000015cea1a1eff_1”:输入 CSV 文件不可拆分且
至少有一个文件大于允许的最大大小。大小为:24686861596。最大允许大小为:4294967296。

Answer 1

BigQuery 文档在此处列出了导入作业的各种限制:https://cloud.google.com/bigquery/quota-policy#load_jobs
它特别指出，压缩 CSV 文件的限制为 4 GB。

关于“不可拆分”CSV 文件的错误消息可能有两种情况:

CSV 文件被压缩

在其中一个字段中存在引用字符不匹配，这使得该字段中的字符串看起来很长，也使文件不可拆分(这就是您的情况可能发生的情况)。