我的问题:
最佳答案
我也很乐意与其他人一起对文件夹结构进行基准测试。也许这取决于您使用 Airflow 的目的,但我会分享我的案例。我正在做数据管道来构建数据仓库,所以在高层次上我基本上有两个步骤:
今天我将文件组织到三个主要文件夹中,试图反射(reflect)上述逻辑:
├── dags
│ ├── dag_1.py
│ └── dag_2.py
├── data-lake
│ ├── data-source-1
│ └── data-source-2
└── dw
├── cubes
│ ├── cube_1.sql
│ └── cube_2.sql
├── dims
│ ├── dim_1.sql
│ └── dim_2.sql
└── facts
├── fact_1.sql
└── fact_2.sql
这或多或少是我的基本文件夹结构。
关于Dag 和任务的 Airflow 结构/组织,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44424473/