google-bigquery - 更新bigquery表的不同方式

Question

在 gcp 中，每当文件(多种格式，例如 json、xml)上传到存储桶时，我都需要更新 bigquery 表。我有两个选择，但不确定它们各自的优点/缺点是什么。有人可以建议哪个是更好的解决方案以及为什么吗？

方法 1:

文件上传到存储桶 --> 触发 Cloud Function(更新 bigquery 表)-->Bigquery

方法 2:

文件上传到存储桶 --> 触发 Cloud Function(触发数据流作业)-->Dataflow-->Bigquery。

在生产环境中，哪种方法更适合，为什么？如果有其他方法，请告诉我。

Answer 1

这是一个相当广泛的问题，所以如果它被投票决定关闭，我不会感到惊讶。尽管如此，我始终会选择#2(GCS -> CF -> Dataflow -> BigQuery)。

请记住，Cloud Functions 存在最长执行时间。如果您从 Cloud Function 启动加载作业，则需要将逻辑烘焙到其中以轮询并检查状态(BigQuery 中的加载作业是异步的)。如果失败了，你就需要处理它。但是，如果它仍在运行并且您达到了云函数的最大执行速度怎么办？

至少通过使用 Dataflow，您不会遇到最大执行时间的问题，并且如果由于某些暂时原因(例如，管道)失败，您可以简单地重新运行管道。网络问题。