hadoop - 如何部署Spark，使其可以最大程度地利用资源

Question

我有10台服务器(16G内存，8核)，并且想要部署Hadoop和Spark，您能告诉我哪个计划可以最大程度地利用资源吗？

立即部署；

安装Openstack，将环境部署到虚拟机中；

使用Docker的

，例如Docker上的Spark；

我知道与使用情况相关的资源利用率，实际上我想知道上述三个计划的优缺点。

谢谢。

Answer 1

为了获得最高的资源利用率，最好为Spark和Hadoop部署一个资源管理器。有两种选择:

因为Spark可以在YARN上运行，所以使用YARN部署Hadoop集群。

部署Apache Mesos集群，并在其上运行Hadoop作业和Spark。

隔离Spark群集和Hadoop群集在此方面没有任何优势，并且会导致更高的开销和更低的资源利用率。