我想做的是让执行器在启动时(即在开始执行任何任务之前)启动一个程序，例如分析工具。通过这种方式，可以监视诸如执行程序的 CPU 使用率之类的事情。 Spark 是否提供这样的钩子(Hook)/回调？我用过SparkListener，但那是驱动端用的。我们对执行者有类似的东西吗？
最佳答案
这应该可以满足您的要求。 http://spark.apache.org/developer-tools.html#profiling
设置 yourkit 以与驱动程序和从属程序(执行程序)一起工作。除非您告诉它，否则它不会开始分析。连接到 master 或 slave，开始分析然后运行测试。
快乐的分析!!
关于scala - 我可以在 Apache Spark 中捕获诸如 on Executor start 之类的事件吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41081731/