redis - 如何在不使用mysql的情况下在airflow中使用CeleryExecutor

标签 redis celery airflow

我的后端是 redis,但是 airflow 包中的 airflow.cfg 文件只给出了使用 mysql 作为后端的示例 celery 执行器。基本上不确定如何为 redis 后端设置/替换 airflow.cfg 中的以下 sql_alchemy_conn

sql_alchemy_conn = sqlite:////Users/myself/airflow/airflow.db

尝试谷歌搜索但没有成功。

是否有使用 redis 作为 CeleryExecutor 后端的示例 airflow.cfg

最佳答案

“sql_alchemy_conn”用于处理 DAG 运行等的元数据库。

我猜你想为 redis 设置以下内容作为 Celery 的后端

[core]
executor = CeleryExecutor
...
[celery]
broker_url = redis://BROKER_URL/...
celery_result_backend = redis://BROKER_URL/...

关于redis - 如何在不使用mysql的情况下在airflow中使用CeleryExecutor,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43193939/

相关文章:

symfony - 为 Redis 实例配置连接重试

spring-mvc - 如果 redis 连接失败,如何在运行时禁用 Redis 缓存

django - 当达到并发值时,Celery inspect 显示 worker 离线

airflow - 在 BigQueryOperator 中将参数添加为 template_fields

集群redis中的spring security redis token 存储

redis - 返回集合中最后一项的Finder方法,redis,ohm

django - Celery 从同一个函数创建多个任务

python-3.x - Celery 在任务中模拟网络调用

airflow - 如何让 Airflow 跳过时间表?

python - 有没有办法通过 Airflow API 创建/修改连接