google-cloud-platform - 为什么在 Cloud Composer 中会自动生成一个名为 'airflow_monitoring' 的 DAG?

标签 google-cloud-platform airflow google-cloud-stackdriver google-cloud-composer

在 GCP Composer 上创建 Airflow 环境时,有一个名为 airflow_monitoring 的 DAG自动创建,即使删除也会恢复。
为什么?如何处理?我应该将此文件复制到我的 DAG 文件夹中并辞职以使其成为我代码的一部分吗?我注意到每次上传代码时它都会停止执行此 DAG,因为在它神奇地重新出现之前无法在 DAG 文件夹中找到它。
我已经尝试在 DAG 文件夹中删除它,删除日志,从 UI 中删除它,所有这些同时等等。

最佳答案

airflow_monitoring DAG 是每个环境的活性探测器/健康检查,用于填充 Cloud Composer 监控指标 environment/healthy .它是环境总体健康状况的指标,或者更具体地说,它是调度 DAG 和运行任务的能力的指标。这允许您使用 Google Cloud Monitoring 功能(例如指标图表),或在您的环境变得不健康时设置警报。
您可以在 GCP Metrics List 上找到有关该指标的更多信息。 ,并且可以探索 Cloud Monitoring 中的指标在以下情况下:

  • 资源类型:Cloud Composer 环境
  • 指标:健康

  • 这是一个 Composer 管理的 DAG,使用环境中的资源非常少。理想情况下,您应该保持原样,因为它对您环境中运行的任何其他东西几乎没有影响。

    关于google-cloud-platform - 为什么在 Cloud Composer 中会自动生成一个名为 'airflow_monitoring' 的 DAG?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56496779/

    相关文章:

    python - 如何通过 python 的时间戳过滤 GCP stackdriver 日志

    google-cloud-platform - 如何使用 REST API 从 Google Cloud Identity Platform 注销当前用户?

    google-cloud-platform - 如何将文件从存储桶 GCP 复制到我的本地机器

    ubuntu - Airflow 调度器

    redis - 如何在不使用mysql的情况下在airflow中使用CeleryExecutor

    docker - 针对容器优化操作系统的 GCP 云监控

    google-cloud-platform - GCP Cloud SDK 在 MAC 中安装失败

    使用图形 API 配置 GCP 的 Azure AD saml 配置 "Sign on URL"

    airflow - 是否可以在 Airflow 任务执行期间检索最后一次成功执行任务的日期?

    java - 如何在日志导出中将 pubsub 负载转换为 LogEntry 对象