关于能够使用 Spark 运行机器学习作业。 Yarn 调度器和 Spark Standalone 调度器哪个更好？
最佳答案
运行实际的 spark 作业时没有区别。
如果您的集群中运行着不同的 spark 应用程序和/或其他组件(当然支持 Yarn/Mesos)，Yarn/Mesos 可以帮助您安排资源。
Spark独立集群无法管理资源。也就是说，如果您启动一个 Spark 应用程序并且它使用了所有资源，那么第二个应用程序将找不到任何剩余资源。这意味着您必须自己执行此操作(例如相应地调整 Spark 配置)
关于hadoop - 对于 Cloudera 5.4 hadoop 集群，Spark 独立调度程序或 Yarn 调度程序更好吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34970487/