python - 为 Apache airflow 配置日志记录保留策略

Question

我无法在 Airflow 文档中找到如何设置我需要的保留策略。 目前，我们将所有 Airflow 日志永久保存在我们的服务器上，这不是最好的方法。

我希望为我拥有的所有不同日志创建全局日志配置。

如何以及在哪里配置:

1. 保留天数
2. 最大文件大小

Answer 1

我昨天遇到了同样的情况，我的解决方案是使用一个 DAG 来处理所有日志清理并将其安排为任何其他 DAG。

检查这个repo ，您会找到有关如何设置它的分步指南。基本上，您将实现的是根据 上定义的给定时间段删除位于 airflow-home/log/ 和 airflow-home/log/scheduler 上的文件变量。 DAG 根据您之前的定义，为每个要删除的目录动态创建一个任务。

在我的例子中，我对原始 DAG 所做的唯一修改是通过替换 DIRECTORIES_TO_DELETE 的初始值只允许删除 scheduler 文件夹。一切归功于创作者!开箱即用，并且易于定制。