python - BigQuery 插入作业而不是流式处理

Question

我目前正在使用 BigQuery 的流选项将数据加载到表中。但是，启用日期分区的表不会显示任何分区...我知道这是流式传输的影响。

我使用的Python代码:

def stream_data(dataset_name, table_name, data):
    bigquery_client = bigquery.Client()
    dataset = bigquery_client.dataset(dataset_name)
    table = dataset.table(table_name)

    # Reload the table to get the schema.
    table.reload()
    rows = data
    errors = table.insert_data(rows)
    if not errors:
        print('Loaded 1 row into {}:{}'.format(dataset_name, table_name))
    else:
        print('Errors:')
        print(errors)

日期分区表最终会显示吗？如果没有，我如何创建插入作业来实现这一点？

Answer 1

不确定“未显示分区”是什么意思，但是当您创建分区表时，您只会看到一个表。

这里唯一的区别是您可以在此表中查询日期分区，如下所示:

SELECT
  *
FROM
  mydataset.partitioned_table
WHERE
  _PARTITIONTIME BETWEEN TIMESTAMP('2016-12-25')
  AND TIMESTAMP('2016-12-31');

正如您在此示例中所看到的，分区表具有元列_PARTITIONTIME，您可以使用它来选择您感兴趣的分区。

有关更多信息，请访问 docs详细解释一下如何查询分区表中的数据。