jar - Airflow 支持 jar 文件吗？

Question

我是 Airflow 的新手。我有一些使用 Talend Open Studio for Big Data 生成的 .jar 作业，并且我想使用 Airflow 安排和管理这些作业，我的问题是，Airflow 是否支持 .jar 文件或由 TOS 生成为 >DAG？ 如果是的话怎么办？ 或者有什么替代方案可以在 Airlow 上运行 .jar 吗？

我正在使用 Airflow v1.10.3 这些作业主要是从 mongodb 数据库中提取和处理数据，然后使用新处理的数据更新数据库。

谢谢!

Answer 1

Airflow 确实支持运行 jar 文件。您可以通过 BashOperator 来完成此操作。

简单示例:

from airflow import DAG
from airflow.operators import BashOperator
from datetime import datetime
import os
import sys

args = {
  'owner': 'you', 
  'start_date': datetime(2019, 4, 24),
  'provide_context': True
}


dag = DAG(
    task_id = 'runjar', 
    schedule_interval = None, #manually triggered 
    default_args = args)

run_jar_task= BashOperator(
  task_id = 'runjar',
  dag = dag,
  bash_command = 'java -cp /path/to/your/jar.jar param1 param2'
  )