java - 是否可以在没有调度程序的情况下使用 Apache Airflow 来执行编排任务?

标签 java python workflow airflow airflow-scheduler

我正在尝试使用 Apache Airflow 框架开发编排架构,但我不希望 DAG 以预定方式运行。

我读到 Apache Airflow 框架可用于服务编排。但我不需要任何调度,我只需要框架来在工作流的节点之间进行编排。

是否可以在没有调度程序的情况下使用 Apache Airflow?您是否有为此推荐的任何其他框架(Java 或 Python)?

谢谢! :)

最佳答案

您当然可以创建计划外的 DAG

schedule_interval=None

您必须运行调度程序才能执行任务,您可以这样做:

airflow trigger_dag my-dag

至于替代方案,我想这完全取决于您想要实现的目标。大多数大型编排解决方案都在运行时内置了一些调度。 Apache Beam 没有,但它更专门用于数据转换和流处理。

最接近的可能是 luigi:https://github.com/spotify/luigi 。这是一个 Python 项目,允许您编排诸如 AirFlow 之类的任务。好像没有调度程序。它的用户界面似乎也更简单。

关于java - 是否可以在没有调度程序的情况下使用 Apache Airflow 来执行编排任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56565773/

相关文章:

java - 如何从客户端直接上传图片到服务器

algorithm - 板球比赛算法

python - Numpy 字符串分区 : Perform Multiple Splits

python - 如何在Python3上使用telebot在没有bot.polling()的情况下发送消息

python - ldap3 bind 无法将 'NoValue' 对象转换为字节

Magento 支付工作流程和事件订单已支付

sharepoint - 如何清除 SharePoint Designer 缓存?

java - 使用前强制转换变量

java - 为表模型提供对象列表的通用方法

java - org.apache.lucene.index.IndexNotFoundException : no segments* file found in org. apache.lucene.store.RAMDirectory