Spark调度器如何选择:FIFO还是FAIR?
Spark Scheduler 和 YARN Scheduler 有什么区别?
最佳答案
当您使用 spark-submit 或任何其他方式在集群中提交作业时,它将被提供给 Spark schedulers负责实现您工作的逻辑计划。在 spark 中,我们有两种
模式。
1。先进先出
默认情况下,Spark 的调度程序以 FIFO 方式运行作业。每个作业都分为阶段
(例如map和reduce阶段),第一个
作业在所有可用资源上获得优先权,而它的阶段有任务要启动,然后是 >second
作业获得优先级等。如果队列头部的作业不需要使用整个集群,后面的作业可以立即开始运行,但如果队列头部的作业很大,那么后面的工作可能会大大延迟。
2。公平
公平调度器还支持将作业分组到池中,并为每个池设置不同的调度选项(例如权重)。这对于为更重要的作业创建一个high-priority
池很有用,例如,或者将每个用户的作业分组在一起并给用户平等的份额,而不管他们有多少并发作业而不是给予工作平等的份额。此方法仿照 Hadoop 公平调度程序。
在没有任何干预的情况下,新提交的作业会进入默认池,但可以通过将 spark.scheduler.pool
“本地属性”添加到正在提交的线程中的 SparkContext 来设置作业池他们。
关于apache-spark - Spark 计划 : FIFO or FAIR?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42527849/