google-cloud-platform - 谷歌 Composer 环境中的环境健康是什么意思

标签 google-cloud-platform google-compute-engine airflow google-cloud-composer

在 Google Composer 环境中,有一个选项卡 -“监控”,其中包含环境概述部分,第一个指标是环境运行状况

我在谷歌文档中阅读了此内容:

Environment health A timeline showing the health of the Composer deployment. Green status doesn't mean that all Airflow components were operational and DAGs were able to be run--it only reflects the status of the Composer deployment.

但不确定环境出了什么问题以及发生时如何修复。 尽管我的环境健康状况显示不健康,但所有其他指标均健康,甚至 Airflow dags 也在运行。那么您能否解释一下这种环境健康不健康状态意味着什么,对 Airflow 数据管道有什么影响以及如何修复它。

最佳答案

环境运行状况时间线指示您的环境是否能够运行所有 Cloud Composer 环境中预安装的非常简单的探测器 DAG (airflow_monitoring)。如果 DAG 成功运行并且指标收集器正确读取其状态,则环境的运行状况将显示绿色,否则将显示红色。

一般来说,时间线可以很好地指示您的环境是否能够运行任务实例。但是,如果它显示红色并且您没有看到环境中存在任何其他问题,则您的环境中可能存在配置错误或更大的问题。

解决此问题的一些建议是确保 airflow_monitoring DAG 不暂停,并检查 Cloud Logging 中的 airflow-monitoring 日志类别。如果 airflow_monitoring DAG 运行未成功完成,则建议您将其作为正常的 Airflow 问题进行故障排除,以便在研究 Composer 特定组件之前解除它。

关于google-cloud-platform - 谷歌 Composer 环境中的环境健康是什么意思,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66925858/

相关文章:

google-compute-engine - 这么大的 "Network Internet Egress from APAC to China"是什么?

google-cloud-platform - 如何使用 sourceIP 在公共(public) GKE 集群 pod 中使用云 NAT

kubernetes - 如何在 GKE 中使用 ReadWriteMany 创建持久卷声明?

Airflow Xcom : How to cast byte array for value into text or json text in SQL?

google-cloud-dataflow - 使用 Dataflow 与 Cloud Composer

python - 名称错误 : name 'creds' is not defined

android - { "error_message": "You must enable Billing on the Google Cloud Project }

java - 使用 Google Storage 将图像上传/下载到 Google Compute Engine

google-compute-engine - 使用谷歌计算引擎运行 openai gym

airflow - 如何在 Airflow 中暂停/取消暂停多个 dag