airflow - Airflow 可以用于运行永无止境的任务吗？

Question

我们可以通过将任务/dag 超时设置为 None 并手动触发其运行来使用 Airflow dag 来定义永无止境的作业(即具有无条件循环以消耗流数据的任务)吗？让 Airflow 监测永无止境的任务会导致问题吗？
谢谢

Answer 1

通过 Airflow 运行这个有点奇怪，但是我认为这不是问题。请注意，如果您重新启动运行作业的工作程序(假设为 CeleryExecutor)，您将中断任务，如果 retries，您需要再次手动启动它。未设置。还要确保 DAG 设置 execution_timeout=None (默认)。