sqlalchemy - 从 Airflow 连接 postgres 数据库时出错

Question

使用:

sql_alchemy_conn = db+postgresql://用户名:xxx@127.0.0.1:5432/airflow 给出错误:

sqlalchemy.exc.NoSuchModuleError: Can't load plugin: sqlalchemy.dialects:db.postgresql

以及使用时:

sql_alchemy_conn = postgresql+psycopg2://用户名:xxx@localhost:5432/airflow 我可以运行 airlfow webserver -p 8080 但在运行调度程序时: airflow Scheduler 它会抛出错误:

ModuleNotFoundError: No module named 'MySQLdb'

我正在使用的软件包版本:

psycopg2==2.7.3.1
sqlalchemy==1.1.15
sqlalchemy-redshift== 0.7.0
apache_airflow=1.8.2

早期sql_alchemy_conn = db+postgresql://username:xxx@127.0.0.1:5432/airflow确实为我工作 - 2个月前。不知道现在是什么问题。

Answer 1

最后，以下设置起作用了 - airflow.cfg :

sql_alchemy_conn = postgresql+psycopg2://scot:tiger@localhost:5432/airflow
celery_result_backend = db+postgres://scot:tiger@localhost:5432/airflow

需要注意的是，airflow.cfg 文件中的 sql_alchemy_conn 和 celery_result_backend 设置的 dialect+driver 是不同的，尽管它们指向同一个数据库。