Airflow - 如何重新加载操作符和插件

标签 airflow

我是 Airflow 的新手,当我更改其代码时,我无法理解如何重新加载运算符(operator)/插件。
我正在使用 LocalExecutor 和外部数据库 (MySql)。
我尝试重新启动网络服务器和调度程序,但在导入 dag 时仍然出现相同的错误:

    File "/home/ec2-user/airflow/dags/extractor.py", line 2, in <module>
    from airflow.contrib.operators.emr_spark_plugin import EmrSparkOperator
ImportError: No module named emr_spark_plugin

最佳答案

尝试重新启动 Web 服务器和调度程序。

实际上没有好的内置方法可以做到这一点,我建议按照 this answer 中的建议使用 systemd。 .

关于Airflow - 如何重新加载操作符和插件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51208550/

相关文章:

airflow - Apache Airflow : airflow initdb throws ModuleNotFoundError: No module named 'werkzeug.wrappers.json' ; 'werkzeug.wrappers' is not a package error

airflow - 以编程方式清除 Airflow 任务实例的状态

amazon-web-services - Airflow Emr Dag 成功但集群未启动

python - 如何将 Airflow worker 的数量安装到 Airflow kubernetes pod 运算符(operator)?

kubernetes - Airflow kubernetes pod 运算符(operator)和任务之间共享文件?

Airflow 执行间隔 - 使用execution_date 和next_execution_date 定义时间片是否标准?

airflow - 将所有 Airflow 连接导出到新环境

airflow "python operator"将文件写入不同位置

python - Airflow:如何从 Postgres Operator 插入 xcom 值(value)?

scheduler - Apache Airflow : setting catchup to False is not working