google-bigquery - 迁移到集群表

Question

我在 BigQuery 中有一个按天分区的表，我想将所有行移动到 BigQuery 中的另一个按天分区并由几个字段聚类的表。我知道我可以使用 DML INSERT 语句来做到这一点，但它很昂贵。有更便宜的解决方法吗？谢谢!

Answer 1

延迟迁移，以全表扫描为代价

CREATE TABLE x_new
PARTITION BY y
CLUSTER BY z
AS
SELECT * 
FROM x_old

通过导出实现免费迁移

第 1 步:

CREATE TABLE x_new
PARTITION BY y
CLUSTER BY z
AS
SELECT * 
FROM x_old
LIMIT 0

第 2 步:将表 x_old 导出到 GCS(推荐使用 Avro)。

第 3 步:将 GCS 导出的文件加载到 x_new 中。