gunicorn - Airflow 的 Gunicorn 正在发送错误日志

标签 gunicorn airflow

我正在使用 Apache Airflow,发现 gunicorn-error.log 的大小在 5 个月内增长了超过 50 GB。大多数日志消息都是 INFO 级别的日志,例如:

[2018-05-14 17:31:39 +0000] [29595] [INFO] Handling signal: ttou
[2018-05-14 17:32:37 +0000] [2359] [INFO] Worker exiting (pid: 2359)
[2018-05-14 17:33:07 +0000] [29595] [INFO] Handling signal: ttin
[2018-05-14 17:33:07 +0000] [5758] [INFO] Booting worker with pid:
5758 [2018-05-14 17:33:10 +0000] [29595] [INFO] Handling signal: ttou [2018-05-14 17:33:41 +0000] [2994] [INFO] Worker exiting (pid: 2994)
[2018-05-14 17:34:11 +0000] [29595] [INFO] Handling signal: ttin
[2018-05-14 17:34:11 +0000] [6400] [INFO] Booting worker with pid: 6400 [2018-05-14 17:34:13 +0000] [29595] [INFO] Handling signal: ttou
[2018-05-14 17:34:36 +0000] [3611] [INFO] Worker exiting (pid: 3611)

在 Airflow 配置文件中,我只能设置日志文件路径。有谁知道如何将 gunicorn 日志记录更改为 Airflow 中的另一个级别?我不需要这种细粒度的日志记录级别,因为它会填满我的硬盘。

最佳答案

我设法通过设置环境变量解决了这个问题:

GUNICORN_CMD_ARGS="--log-level WARNING"

如果在 docker-compose.yml 文件中进行设置,以下内容将使用 apache-airflow==1.10.6 和 gunicorn==19.9.0 进行测试:

environment:
    - 'GUNICORN_CMD_ARGS=--log-level WARNING'

如果在 Dockerfile 中设置此项,则使用 apache-airflow==1.10.6 和 gunicorn==19.9.0 测试以下内容:

ENV GUNICORN_CMD_ARGS --log-level WARNING

关于gunicorn - Airflow 的 Gunicorn 正在发送错误日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50336043/

相关文章:

python - gunicorn.errors.HaltServer : <HaltServer 'Worker failed to boot.' 3>

django - 使用 Traefik 时如何使用 Nginx 和 Django Gunicorn 提供静态内容

django - Apache + mod_wsgi 与 nginx + gunicorn

docker - 如何使用官方 docker-compose 文件安装 Airflow 的附加要求

airflow - 使用 MySqlToGoogleCloudStorageOperator 对记录进行分页

python - 将 Airflow 的 PostgresOperator 与 Jinja 模板和 SQL 一起使用时出现 TemplateNotFound

python - 使用 gunicorn 服务时 flask 超时

centos7 - Apache Superset 安装问题

python - 如何运行超过 10 万个任务的 Airflow dag?

flask - Airflow 向 base_url 添加前缀