airflow - Apache Airflow 任务实例状态为空白

标签 airflow databricks airflow-scheduler

我有如下的 dag 配置

    args = {
        'owner': 'XXX',
        'depends_on_past': False,
        'start_date': datetime(2018, 2, 26),
        'email': ['<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="55263438253930152634382539307b363a38" rel="noreferrer noopener nofollow">[email protected]</a>'],
        'email_on_failure': False,
        'retries': 1,
        'retry_delay': timedelta(minutes=5)
    }

   dag = DAG(dag_id='Daily_Report',
      default_args=args,
      schedule_interval='0 11 * * *',
      dagrun_timeout=timedelta(seconds=30))

我有一个 bash 运算符和一个 data bricks 运算符

   run_this = BashOperator(task_id='run_report',
               bash_command=templated_command,
               dag=dag)

  notebook_run = DatabricksSubmitRunOperator(
         task_id='notebook_run',
         notebook_task=notebook_task,
         existing_cluster_id='xxxx',
         dag=dag)

我正在像 run_this.set_downstream(notebook_run) 一样运行

bash 运算符运行良好,但 data bricks 运算符不运行,只是留下如下所示的空白状态

空白状态 Airflow

enter image description here

我有什么遗漏的吗?我在这里使用 Databricks 的 Airflow 版本 https://github.com/databricks/incubator-airflow

最佳答案

尝试突出显示白色标签中的文本。它可能会说“无”。白底白字的用户体验很糟糕,所以我不确定为什么 Airflow 会这样做。

enter image description here

关于airflow - Apache Airflow 任务实例状态为空白,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49054596/

相关文章:

每个数据的 Airflow Dagrun,而不是预定的

azure - 如何超过 Databricks 上的长度限制 256

azure - Databricks 池可以跨不同工作区使用吗?

tensorflow - 将 Pyspark Dataframe 写入 TFrecords 文件

Airflow dags 和 PYTHONPATH

python - SIGKILL 耗时过长的 Airflow 终止任务

airflow - 如何管理 Airflow dags 之间的 python 包?

amazon-web-services - 从我的 ec2 实例 ssh 到我的 ec2 实例

python - Airflow CeleryExecutor - 'int' 对象在 Celery 中没有属性 'startswith'

airflow - 任务在 Airflow 中遇到意外参数 'dag'