kubernetes - 将 Kubernetes 与 Yarn 集成

标签 kubernetes hadoop-yarn

您知道如何将 Kubernetes 与现有的 Yarn 集群集成吗?

下面的页面解释了 Kubernetes Yarn 集成提供的功能。

https://hortonworks.com/blog/docker-kubernetes-apache-hadoop-yarn/

但是,它所引用的教程仅提供了安装本地集群的说明。

替代或第二个问题是:

在 Hadoop 运行的同一个物理集群中运行 Kubernetes 集群是否明智/合理?

提前致谢...

最佳答案

hortonworks 解决方案对我来说似乎很奇怪。 Kubernetes 管理物理机器上的 docker 容器,Yarn 将作业调度到一个集群(由一组 linux 机器构建)。集成的本质方式应该是让 yarn 在 Kubernetes 管理的 docker 容器上运行。为什么相反?

IMO,正确的解决方案不是将 kubernete 集成到您现有的 yarn 集群中。相反,您应该使用面向微服务的架构重建集群,这意味着每个服务(yarn 就是其中之一)都在由 kubernetes 管理的 docker 容器中运行。从长远来看,对于大数据集群来说,这将是一种更易于管理、更节省维护的方法。

关于kubernetes - 将 Kubernetes 与 Yarn 集成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44180959/

相关文章:

kubernetes - 在Google Kubernetes引擎上进行垂直自动缩放?

java - Java 中的 Spark Hive Context hql 问题 - 在 yarn 中运行 spark 作业时

apache-spark - 如何保证驱动重启后DAG不被重新计算?

hadoop - yarn 中的 AM 极限是多少?

postgresql - Kubernetes 中 postgres 中持久卷的权限问题

azure - 如何在 Linux RHEL 中安装特定版本的 Azure CLI

kubernetes - KubeUI 没有加载 Vagrant

kubernetes - 船长会知道k8s中工作节点上的数据吗

hadoop - 在 YARN 应用程序中获取 Hadoop 集群节点列表

python - Spark 簇错误: ClassNotFoundException