python - 如何在 Python 中设置架构以在 BigQuery 上使用 json 文件？

Question

我正在寻找一种如何在 Big Query 上使用 Python 中的 json 文件设置架构的方法。下面的文档说我可以用Schema字段一一设置它，但我想找到更有效的方法。 https://cloud.google.com/bigquery/docs/schemas

在这种情况下，自动检测会怀疑是否能做到这一点。 如果您帮助了我，我将不胜感激。

Answer 1

您可以创建包含列/数据类型的 JSON 文件，并使用以下代码构建 BigQuery 架构。

JSON 文件(schema.json):

[
    {
        "name": "emp_id",
        "type": "INTEGER"
    },
    {
        "name": "emp_name",
        "type": "STRING"
    }
]

Python 代码:

import json
from google.cloud import bigquery

bigquerySchema = []
with open('schema.json') as f:
    bigqueryColumns = json.load(f)
    for col in bigqueryColumns:
        bigquerySchema.append(bigquery.SchemaField(col['name'], col['type']))

print(bigquerySchema)