airflow - 使用自定义状态标记 Airflow 任务

Question

我试图创建一个只有一项任务的 dag。我可以将任务标记为所需状态(例如已跳过或无状态)吗？

要求:一般来说，我会每隔一分钟查看一次 s3 存储桶，如果文件可用，我会进行一些处理。否则我就离开。我想在用户界面中看到这种可见性。所以。我试图将任务状态标记为已跳过。

这是正确的做法吗？我们还有其他方法来实现这一目标

谢谢

Answer 1

如果您想将任务标记为已跳过，可以引发 AirflowSkipException。当引发时，任务的执行将停止，并且任务将被标记为已跳过。

This example Airflow dag DummySkipOperator 演示了一个通过引发上述异常而被标记为已跳过的运算符。