我正在使用 Apache Spark，并且指标 UI(在 4040 上找到)非常有用。
我想知道是否可以在此 UI 中添加自定义指标、自定义任务指标，但也可能添加自定义 RDD 指标。 (就像只为 RDD 转换执行时间)
按流批处理作业和任务分组自定义指标可能会很好。
我见过TaskMetrics object 但它被标记为 dev api，它看起来只对输入或输出源有用，不支持自定义值。
有 Spark 的方式来做到这一点吗？或者替代方案？
最佳答案
您可以使用 Spark 内置的共享变量支持 [1]。我经常用它们来实现类似的东西。
[1] http://spark.apache.org/docs/latest/programming-guide.html#shared-variables
关于apache-spark - Apache Spark Ui 中的自定义指标，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32588699/