我有一个Torque + Maui集群。是否可以在同一集群中安装Hadoop？如果可能的话，这样做的利弊是什么？
最佳答案
这可能是一个不错的起点:
http://hadoop.apache.org/docs/r0.18.3/hod.html
我还没有亲自使用它，但听说它没有得到积极维护。
从我所看到的来看，Hadoop有其自己的调度程序，该调度程序期望一组Hadoop节点在Hadoop文件系统所在的位置运行。这通常是一个持久性环境，因此您可以一次加载文件系统(大数据)，然后将作业分配给恰好持有所需数据副本的节点。 Torque倾向于从集群中获取任意一组空闲节点，将它们分配给一个作业，运行该作业，然后为下一个作业清理环境。这与Hadoop的设计背道而驰。
我可以看到有一个环境可以同时充分利用您已经拥有的系统，但是管理充其量只能是一团糟。
关于hadoop - Maui + Torque集群中的Hadoop，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25530656/