您知道如何将 Kubernetes 与现有的 Yarn 集群集成吗?
下面的页面解释了 Kubernetes Yarn 集成提供的功能。
https://hortonworks.com/blog/docker-kubernetes-apache-hadoop-yarn/
但是,它所引用的教程仅提供了安装本地集群的说明。
替代或第二个问题是:
在 Hadoop 运行的同一个物理集群中运行 Kubernetes 集群是否明智/合理?
提前致谢...
最佳答案
hortonworks 解决方案对我来说似乎很奇怪。 Kubernetes 管理物理机器上的 docker 容器,Yarn 将作业调度到一个集群(由一组 linux 机器构建)。集成的本质方式应该是让 yarn 在 Kubernetes 管理的 docker 容器上运行。为什么相反?
IMO,正确的解决方案不是将 kubernete 集成到您现有的 yarn 集群中。相反,您应该使用面向微服务的架构重建集群,这意味着每个服务(yarn 就是其中之一)都在由 kubernetes 管理的 docker 容器中运行。从长远来看,对于大数据集群来说,这将是一种更易于管理、更节省维护的方法。
关于kubernetes - 将 Kubernetes 与 Yarn 集成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44180959/