我正在尝试使用 Apache Airflow 框架开发编排架构,但我不希望 DAG 以预定方式运行。
我读到 Apache Airflow 框架可用于服务编排。但我不需要任何调度,我只需要框架来在工作流的节点之间进行编排。
是否可以在没有调度程序的情况下使用 Apache Airflow?您是否有为此推荐的任何其他框架(Java 或 Python)?
谢谢! :)
最佳答案
您当然可以创建计划外的 DAG
schedule_interval=None
您必须运行调度程序才能执行任务,您可以这样做:
airflow trigger_dag my-dag
至于替代方案,我想这完全取决于您想要实现的目标。大多数大型编排解决方案都在运行时内置了一些调度。 Apache Beam 没有,但它更专门用于数据转换和流处理。
最接近的可能是 luigi:https://github.com/spotify/luigi 。这是一个 Python 项目,允许您编排诸如 AirFlow 之类的任务。好像没有调度程序。它的用户界面似乎也更简单。
关于java - 是否可以在没有调度程序的情况下使用 Apache Airflow 来执行编排任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56565773/