go - 从谷歌存储加载文件时，在 bigquery 中使用 .Run(ctx) 重复记录

Question

对于每天明智的分区，我们每 3 分钟将文件加载到 bigquery 中，每个文件的大小约为 200MB。 (.gz)。有时我会重复，但我不确定为什么。我已经验证输入文件只包含一次数据并且日志证明文件只被处理过一次。重复的可能原因是什么？在 bigquery 上传之前有什么方法可以阻止它吗？

client, err := bigquery.NewClient(ctx, loadJob.ProjectID, clientOption)
if err != nil {
    return nil, jobID, err
}
defer client.Close()
ref := bigquery.NewGCSReference(loadJob.URIs...)
if loadJob.Schema == nil {
    ref.AutoDetect = true
} else {
    ref.Schema = loadJob.Schema
}
ref.SourceFormat = bigquery.JSON
dataset := client.DatasetInProject(loadJob.ProjectID, loadJob.DatasetID)
if err := dataset.Create(ctx, nil); err != nil {
    // Create dataset if it does exist, otherwise ignore duplicate error
    if !strings.Contains(err.Error(), ErrorDuplicate) {
        return nil, jobID, err
    }
}
loader := dataset.Table(loadJob.TableID).LoaderFrom(ref)
loader.CreateDisposition = bigquery.CreateIfNeeded
loader.WriteDisposition = bigquery.WriteAppend
loader.JobID = jobID
job, err := loader.Run(ctx)
if err != nil {
    return nil, jobID, err
}
status, err := job.Wait(ctx)
return status, jobID, err

Answer 1

BigQuery 加载作业是原子的。因此，如果作业成功返回，则数据将保证只加载一次。

也就是说，如果作业重试在后端对原始尝试和重试尝试都成功，则可能会出现重复。

从代码片段中，我不确定客户端实现中是否发生重试(如果连接断开，一些客户端会重试相同的负载。防止重复的常用方法是发送具有相同 job_id 的 BigQuery 加载作业数据。如果原始提交仍在运行，BigQuery 前端将尝试对重试进行重复数据删除。