我遵循了监控指南:
http://spark.apache.org/docs/latest/monitoring.html
配置metricsservlet，但似乎这个文档没有说任何有用的东西......
而metrics.properties 中的共同点说:
” 5.在master、worker和client中默认添加MetricsServlet作为sink
驱动程序，您可以发送 http 请求“/metrics/json”来获取所有
以 json 格式注册的指标。对于 master，请求 "/metrics/master/json"和
“/metrics/applications/json”可以单独发送以获取指标快照
实例主机和应用程序。 MetricsServlet 不能自己配置。
”
但是http请求url的前缀是什么？我应该在哪里提交http请求？
http://driver-node:4040/metrics/json
不响应 json，只是重定向到 Web UI...
谢谢。
最佳答案
如果您使用的是 Spark 1.2.0，则已知指标 servlet 由于 SparkContext 中的初始化排序错误而损坏( SPARK-4549 ；这是少数已知的 1.1.1 -> 1.2.0 回归之一，并记录在案在发行说明中)。有一个补丁可用于修复此问题 ( https://github.com/apache/spark/pull/3444 )，它将包含在 Spark 1.2.1 中。我们预计将在下周左右开始对 1.2.1 候选版本进行投票，因此您可以期待一个包含此修复程序的维护版本。同时，您可以从 master 自己构建 Spark。或 branch-1.2分支或使用没有此问题的早期版本的 Spark(例如 Spark 1.1.1)。
关于json - 如何获取 Spark 驱动程序指标 json？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28083597/