hadoop - 在不同硬件机器的 VM 之间安装 hadoop 集群

标签 hadoop virtual-machine virtualbox hadoop2

我负责向一群人(假设 5 个人)教授 Hadoop,但没有任何可用的硬件。

他们每个人都有一台笔记本电脑,配备相当大的内存和处理器。

我想让他们在自己的笔记本电脑之间创建一个 Hadoop 集群,这些笔记本电脑将连接到同一网络。

到目前为止,我的想法是:

  • 创建一个预配置了 ubuntu 16 的 VM 镜像(ubuntu 16 是我的选择),为集群节点做好准备
  • 让他们每个人在自己的计算机上运行虚拟机
  • 在此 VM 网络之上创建集群

但是,我有一些锁:

1/是否可以创建位于不同机器上的 VM 的私有(private)网络,以便 hadoop 集群与链接物理机器的网络隔离?

2/这种方法有什么问题?

3/有没有更好的方法来处理在不同个人机器之间设置 Hadoop 集群的需要?

顺便说一下,我对 Hadoop 安装等非常满意......

在此先感谢您的帮助、建议...

最佳答案

is it possible to create a private network of VMs located on their different machines

是的,公司一直在使用虚拟机集群这样做。诚然,这些公司的人员在进行此类网络设置方面具有多年经验,并且对防火墙和路由表有一定的深入了解

so that the hadoop cluster is isolated from the network that links the physical machines?

并非没有用于连接所有机器的特定子网。不过,我猜每台笔记本电脑都共享同一个路由器,并且每台设备都有一个在主机和 VM 之间共享的网络接口(interface),因此创建它可能会很困难。

What could be wrong with this approach?

您需要指定至少一台机器作为“主机”——namenode 和 ResourceManager。没有这台机器,什么都做不了。更好的方法是使用 HA 部署,但是你依赖于“两个人”

Is there a better way for handling this need of setting a Hadoop cluster

使用 AWS、Azure 或 GCP 的免费套餐/积分来设置集群。它可以从 2-3 个节点开始,而不是 5 个

关于hadoop - 在不同硬件机器的 VM 之间安装 hadoop 集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53944034/

相关文章:

linux - 从手机接收实时数据

linux - 在 MAAS 中设置 cloud-config-url 的 ip 地址

hadoop - 在HIVE选择查询中,Mapper Reducer不会从零增加

hadoop 应用程序失败 mapreduce 成功

hadoop - pig 0.13.0 中的错误 2998

hadoop - 通过连接两列在 pig 中过滤

azure - 是否可以更新已部署的 VM 以使用 Azure KeyVault?

virtual-machine - "VT-x is not available"当我启动虚拟机时

assembly - vmovdqa 无法在 virtualbox 中工作?

javascript - 无法通过 Websocket 连接到 Mosquitto