我有四个操作使用 Airflow 将 MySQL 的表提取到 BigQuery 中。我将任务分为 2 个步骤，从 MySQL 提取到 GCS，然后将每个表的 GCS Json 加载到 BQ 中(我有来自 MySQL 的四个表，因此将是 8 个任务)。
我的任务是这样的:
[
task_extract_table_A>>task_load_table_A,
task_extract_table_B>>task_load_table_B,
task_extract_table_C>>task_load_table_C,
task_extract_table_D>>task_load_table_D
]
但是，在我的仪表板中，只显示表 A、B 和 C 的提取和加载，而不显示表 D。有人知道这个管道发生了什么吗？
我对每个表使用相同的 DAG 声明。
最佳答案
您不需要在其上使用方括号[]。只需使用以下内容:
task_extract_table_A>>task_load_table_A,
task_extract_table_B>>task_load_table_B,
task_extract_table_C>>task_load_table_C,
task_extract_table_D>>task_load_table_D
关于mysql - 放入并行管道时，任务未显示在 DAG 中，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/58871319/