hadoop - HDFS 和 ZooKeeper 之间的区别?

标签 hadoop hdfs bigdata

在阅读 ZooKeeper 的文档时,在我看来,HDFS 依赖于与 ZooKeeper 几乎相同的分发/复制机制(广义上讲)。我听到一些回声,但我仍然不能清楚和严格地分辨事物。

我知道 ZooKeeper 是一个集群管理/同步工具,而 HDFS 是一个分布式文件管理系统,但是 HDFS 集群是否需要 ZK?

最佳答案

是的,因素是具有 zookeper 仲裁的 hadoop 集群上的分布式处理和高可用性

例如。 Hadoop Namenode 故障转移过程。

Hadoop 高可用性是围绕 Active Namenode 和 Standby Namenode 设计的,用于故障转移过程。在任何时候,你都不应该同时有两个主人(活跃的Namenodes)。

Zookeper 将集群地址解析为事件名称节点。

关于hadoop - HDFS 和 ZooKeeper 之间的区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43173968/

相关文章:

java - 如何打包存储的文件

hadoop - Hive 不会写入 aws s3

hadoop - apache spark - 检查文件是否存在

python - 使用 Pandas 的数据透视表的大数据

ruby-on-rails - 如何大规模更新 User 对象?

hadoop - 为什么hadoop集群运行在安全模式下?

unix - hive 和UNIX脚本

java - 使用Spark-Java读取存储在HDFS中的Avro表和架构

hadoop - HDFS- block 大小和每分钟100 MB的文件复制

hadoop - 安装和部署CDH