apache-spark - 主节点是否在 Spark 中执行实际任务？

Question

我的问题听起来可能很愚蠢，但它困扰了我很长时间。

上图是一个分布式Spark应用的组件。我认为这张图表明 ma​​ster node 永远不会执行实际任务，而只是充当集群管理器。是真的吗？

对了，这里的tasks是指用户提交的任务。

Answer 1

是的，主节点执行驱动进程，不运行任务。任务在工作节点上的执行程序进程中运行。从 CPU 的角度来看，主节点很少有压力，但根据广播变量、累加器和 collect 的使用方式，它可能会在 RAM 使用方面承受很大压力。