python - 将查询结果从表写入 BigQuery 中的分区聚簇表

标签 python google-cloud-platform google-bigquery

我有一个临时表,其中数据是从云存储加载的,还有一个主表,它由 "tdate" 分区并由 "serid"聚类

tdateserid 列存在于临时表中并且 tdate 是这样的格式 "YYYY-MM-DD"并且 serid 是整数

我知道如何编写如下查询结果。

CREATE TABLE `[project].[dataset].[dest table]`
PARTITION BY tdate
CLUSTER BY serid 
AS
SELECT * FROM `[project].[dataset].[table]`; 

有人能告诉我如何使用 bq 命令或在 python

中将数据从临时表追加到主表吗

p:s 我是 gcp 的新手,今天才开始

最佳答案

您是否尝试使用 script ?我的意思是在用分号分隔的同一个调用中运行多个查询;

CREATE TABLE IF NOT EXISTS `[project].[dataset].[dest table]` (
  # Add your schema here
  tdate date,
  serid numeric
)
  PARTITION BY tdate
  CLUSTER BY serid;
INSERT INTO `[project].[dataset].[dest table]` SELECT * FROM `[project].[dataset].[table]`;

关于python - 将查询结果从表写入 BigQuery 中的分区聚簇表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63472797/

相关文章:

python - 第一次达到某个数字时递增计数器

google-bigquery - 更改 Bigquery 表中字段的数据类型?

linux - BigQuery 命令行 - 如何在查询字符串中使用参数?

java - 如何减少/_ah/warmup 上花费的周期

go - 如何在 GCP 云功能中加载本地 Assets ?

google-cloud-platform - GCP ZONE_RESOURCE_POOL_EXHAUSTED

google-bigquery - 未设置应用程序名称。调用Builder#setApplicationName。错误

Python - 在动态表中添加 mysql 条目

python - Python 中的简单合并排序错误

python - 是否可以在 python 中迭代字典以在 html 电子邮件中使用