我有如下的 dag 配置
args = {
'owner': 'XXX',
'depends_on_past': False,
'start_date': datetime(2018, 2, 26),
'email': ['<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="55263438253930152634382539307b363a38" rel="noreferrer noopener nofollow">[email protected]</a>'],
'email_on_failure': False,
'retries': 1,
'retry_delay': timedelta(minutes=5)
}
dag = DAG(dag_id='Daily_Report',
default_args=args,
schedule_interval='0 11 * * *',
dagrun_timeout=timedelta(seconds=30))
我有一个 bash 运算符和一个 data bricks 运算符
run_this = BashOperator(task_id='run_report',
bash_command=templated_command,
dag=dag)
notebook_run = DatabricksSubmitRunOperator(
task_id='notebook_run',
notebook_task=notebook_task,
existing_cluster_id='xxxx',
dag=dag)
我正在像 run_this.set_downstream(notebook_run) 一样运行
bash 运算符运行良好,但 data bricks 运算符不运行,只是留下如下所示的空白状态
空白状态 Airflow
我有什么遗漏的吗?我在这里使用 Databricks 的 Airflow 版本 https://github.com/databricks/incubator-airflow
最佳答案
关于airflow - Apache Airflow 任务实例状态为空白,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49054596/