我想知道是否有办法 Hook Dataproc 中提交的作业的某些通知。我们计划使用 Dataproc 24/7 运行流应用程序。但 Dataproc 似乎没有办法通知失败的作业。
只是想知道是否可以通过任何方式使用 Google StackDriver。
谢谢 苏仁
最佳答案
当然，StackDriver 可用于针对定义的日志指标设置警报策略。 例如，您可以设置指标缺失策略，该策略将监控作业是否成功完成，并在指定时间段内缺失时发出警报。
转到Logging在您的控制台中并设置过滤器:
resource.type="cloud_dataproc_cluster"
jsonPayload.message:"completed with exit code 0"
点击创建指标，填写详细信息后，您将被重定向到日志指标页面，您可以在其中根据指标创建警报
关于apache-spark - 如何在 Google Dataproc 中发送失败作业的警报通知？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38520184/