我们有 ambari 集群,包含 3 个 Zookeeper 服务器和 3 个 kafka 机器
hadoop版本(HDP-2.6.4)
kafka 在 Zookeeper 上将元数据存储在哪里? (哪条路?)
我不确定,但也许数据存储在这里?
ls -ltr /data/var/hadoop/zookeeper/version-2
total 5859168
-rw-r--r-- 1 zookeeper hadoop 199306787 Jan 27 00:02 snapshot.4a00023317
-rw-r--r-- 1 zookeeper hadoop 199274273 Jan 27 00:03 snapshot.4a0002332b
-rw-r--r-- 1 zookeeper hadoop 199278370 Jan 27 00:05 snapshot.4a00023349
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:01 snapshot.4a0002ade3
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:03 snapshot.4a0002adf6
-rw-r--r-- 1 zookeeper hadoop 188207547 Jan 31 00:00 snapshot.4a00033393
-rw-r--r-- 1 zookeeper hadoop 67108880 Feb 17 15:08 log.4b0001e57a
-rw-r--r-- 1 zookeeper hadoop 189085214 Feb 17 15:08 snapshot.4b00046dc8
-rw-r--r-- 1 zookeeper hadoop 67108880 Feb 19 20:56 log.4b00046dca
-rw-r--r-- 1 zookeeper hadoop 190336796 Feb 19 20:56 snapshot.4b0005659b
-rw-r--r-- 1 zookeeper hadoop 67108880 Feb 22 01:30 log.4b0005659d
-rw-r--r-- 1 zookeeper hadoop 190348010 Feb 22 01:30 snapshot.4b000643
最佳答案
这取决于哪个元数据!
默认情况下,Kafka在zookeeper中使用多个路径:
/brokers
:其中包含事件代理以及主题配置、分配和当前 ISR/controller
:此ZNode由Kafka集群中的当前 Controller 拥有/admin
:其中包含删除主题请求/config
:这包含代理、配额的覆盖配置这样的例子不胜枚举......
Wiki 有一个关于 ZK 数据结构的页面,但它已经过时并且缺少很多条目:https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper
另一件值得注意的事情是,默认情况下 Kafka 将在/下创建所有这些路径,但您可以通过 zookeeper.connect
让 Kafka 使用“chroot”。例如,如果您将其设置为 localhost:2181/some_path
,则所有路径都将位于 /some_path
下:/some_path/brokers
, /some_path/controller
等
最后,Zookeeper 将所有这些数据保存到磁盘上的日志
文件中。该路径由 zookeeper.properties
中的 dataDir
设置指定。默认情况下,Kafka 的位置是 /tmp/zookeeper
。
关于apache-kafka - kafka 在 Zookeeper 上存储元数据的位置? (哪条路?),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54989802/