google-bigquery - 如何使用 Airflow 的 BigQuery 运算符引用外部 SQL 文件？

Question

我目前正在使用 Airflow 和 BigQuery 运算符来触发各种 SQL 脚本。当 SQL 直接写入 Airflow DAG 文件中时，这可以正常工作。例如:

bigquery_transform = BigQueryOperator(
        task_id='bq-transform',
        bql='SELECT * FROM `example.table`',
        destination_dataset_table='example.destination'
    )

但是，我想将 SQL 存储在保存到存储桶的单独文件中。例如:

bql='gs://example_bucket/sample_script.sql'

调用此外部文件时，我收到“找不到模板”错误。

我见过一些将 SQL 文件加载到 Airflow DAG 文件夹中的示例，但是，我真的很想访问保存到单独存储桶中的文件。这可能吗？

Answer 1

您可以引用 Google Cloud Storage 存储桶中的任何 SQL 文件。在下面的示例中，我在 Airflow dag 存储桶的 sql 目录中调用文件 Query_File.sql。

CONNECTION_ID = 'project_name'

with DAG('dag', schedule_interval='0 9 * * *', template_searchpath=['/home/airflow/gcs/dags/'], max_active_runs=15, catchup=True, default_args=default_args) as dag:

battery_data_quality = BigQueryOperator(
  task_id='task-id',
  sql='/SQL/Query_File.sql',
  destination_dataset_table='project-name.DataSetName.TableName${{ds_nodash}}',
  write_disposition='WRITE_TRUNCATE',
  bigquery_conn_id=CONNECTION_ID,
  use_legacy_sql=False,
  dag=dag
)