google-bigquery - 将文件名添加为导入 BigQuery 的列？

Question

这是一个关于将数据文件从 Google Cloud Storage 导入 BigQuery 的问题。

我有许多 JSON 文件，它们遵循严格的命名约定，以包含一些未包含在 JSON 数据本身中的关键数据。

例如:

xxx_US_20170101.json.gz
xxx_GB_20170101.json.gz
xxx_DE_20170101.json.gz

这是 client_country_date.json.gz 目前，我在一个 Ruby 应用程序中有一些复杂的过程，它读取文件、附加附加数据，然后将其写回一个文件，然后导入到 BigQuery 中客户端的单个每日表中。

我想知道是否可以在导入 BigQuery 的过程中抓取和解析文件名？然后我可以删除复杂的 Ruby 进程，这些进程偶尔会在较大的文件上失败。

Answer 1

您可以定义一个指向您的文件的外部表:

请注意，表类型是“外部表”，它指向多个带有 * glob 的文件。

现在您可以查询这些文件中的所有数据，并查询元列_FILE_NAME:

#standardSQL
SELECT *, _FILE_NAME filename
FROM `project.dataset.table` 

您现在可以将这些结果保存到新的 native 表中。