hadoop - 可以只安装 Hadoop HDFS 吗？

Question

我是 Hadoop 世界的新手，我需要安装带有 Hadoop HDFS 的 mesos 来制作容错的分布式文件系统，但所有安装引用都包括我的场景所需的组件，例如:MapReduce。

您对此有任何想法或引用吗？

Answer 1

绝对有可能。不要把 Hadoop 看成是一个可安装的程序，它只是由一堆运行在集群内不同节点上的 java 进程组成的。

如果你使用 hadoop tar ball，如果你只需要 HDFS，你可以只运行 NameNode 和 DataNodes 进程。

如果您使用其他 hadoop 发行版(例如 HDP)，我认为 HDFS 和 mapreduce 来自不同的 rpm 包，但安装这两个 rpm 包确实有害。如果您只需要 HDFS，则再次运行 NameNode 和 DataNodes。