我负责向一群人(假设 5 个人)教授 Hadoop,但没有任何可用的硬件。
他们每个人都有一台笔记本电脑,配备相当大的内存和处理器。
我想让他们在自己的笔记本电脑之间创建一个 Hadoop 集群,这些笔记本电脑将连接到同一网络。
到目前为止,我的想法是:
- 创建一个预配置了 ubuntu 16 的 VM 镜像(ubuntu 16 是我的选择),为集群节点做好准备
- 让他们每个人在自己的计算机上运行虚拟机
- 在此 VM 网络之上创建集群
但是,我有一些锁:
1/是否可以创建位于不同机器上的 VM 的私有(private)网络,以便 hadoop 集群与链接物理机器的网络隔离?
2/这种方法有什么问题?
3/有没有更好的方法来处理在不同个人机器之间设置 Hadoop 集群的需要?
顺便说一下,我对 Hadoop 安装等非常满意......
在此先感谢您的帮助、建议...
最佳答案
is it possible to create a private network of VMs located on their different machines
是的,公司一直在使用虚拟机集群这样做。诚然,这些公司的人员在进行此类网络设置方面具有多年经验,并且对防火墙和路由表有一定的深入了解
so that the hadoop cluster is isolated from the network that links the physical machines?
并非没有用于连接所有机器的特定子网。不过,我猜每台笔记本电脑都共享同一个路由器,并且每台设备都有一个在主机和 VM 之间共享的网络接口(interface),因此创建它可能会很困难。
What could be wrong with this approach?
您需要指定至少一台机器作为“主机”——namenode 和 ResourceManager。没有这台机器,什么都做不了。更好的方法是使用 HA 部署,但是你依赖于“两个人”
Is there a better way for handling this need of setting a Hadoop cluster
使用 AWS、Azure 或 GCP 的免费套餐/积分来设置集群。它可以从 2-3 个节点开始,而不是 5 个
关于hadoop - 在不同硬件机器的 VM 之间安装 hadoop 集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53944034/