hadoop - AWS Docker和Hadoop集群之间的主要区别是什么?

标签 hadoop amazon-web-services docker cluster-computing

我是AWS和大数据的新手。我知道集群或分布式计算的概念。如果可以的话,请向您介绍有关Hadoop集群的AWS Docker。谢谢。

最佳答案

我将尝试简单地解释一下。

Docker允许您在Containers内运行,构建和测试代码。而已。除了您可以在EC2 Container Service内运行Docker容器之外,AWS没有其他特定的部分。

请注意,在该描述中我没有对Hadoop或大数据作任何说明。您的容器可以包含任何打包的应用程序,例如Web服务器,数据库,构建工具等。

现在,可以通过使用Hive,Hbase,Spark,数据节点和名称节点等将Hadoop分解为多个容器,只需将每个组件放入单独的容器中并将它们链接在一起就可以形成生态系统。

因此,与其拥有一组联网的计算机集群,不如说是一个可以在任何或多台计算机上的容器集群。因此,通过共享主机的资源而不是为每个服务使用专用硬件,容器具有更大的可伸缩性,轻巧性和便携性。

关于hadoop - AWS Docker和Hadoop集群之间的主要区别是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36433111/

相关文章:

hadoop - yarn 作业不会超过 "state: ACCEPTED"

c# - AWS Lambda 中的空白环境变量

amazon-web-services - 如何基于标签隐藏 EC2 中的实例 - 使用 IAM?

docker - 优化 Docker 中的 cargo 构建时间

docker - 如何将静态公共(public) IP 分配给 docker 容器

java - K-Means迭代处理输出/群集2失败

hadoop - oozie shell脚本在kerberos集群中执行beeline

hadoop - 无法找到 oozie 作业的尝试日志飞行位置(stderr 和 stdout)

mysql - aws emr hive 元存储配置 hive-site.xml

docker - 如何通过 IntelliJ 部署到 Docker 中的 GlassFish4 实例?