apache-kafka - Kafka主题可以存储多少数据?

标签 apache-kafka persistent-storage

我完整地阅读了Kafka 0.8.0的文档,但找不到这个问题的答案。如果有人有使用 Kafka 的经验,假设您的硬件没有达到故障点,它可以容纳的最大数据量是多少。我们计划将有效负载存储在 kafka 中以用于灾难恢复目的。

最佳答案

Kafka 本身没有限制。 当数据从生产者传入时,它将以文件段的形式写入磁盘,这些段会轮换 根据配置基于时间 (log.roll.hours) 或大小 (log.segment.bytes)。

根据可以关闭的保留配置(log.cleanup.policy、log.retention.mines、log.retention.bytes)删除较旧的段。

但请注意,代理将保持每个段文件打开,因此请确保相应地设置文件描述符限制。

代理配置文档: http://kafka.apache.org/documentation.html#brokerconfigs

关于apache-kafka - Kafka主题可以存储多少数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25002964/

相关文章:

跨浏览器实例/页面刷新对本地文件的 Javascript 持久访问

java - JDBM的headMap

ios - 如何使用 UiWebView 和 Objective-C 创建持久缓存?

javascript - Blob 会持续多久?

java - 为什么 kafka 流线程会在源主题分区更改时死亡?谁能指出这方面的阅读 Material ?

java - Windows 10 中的 Kafka 设置

java - Kafka 流和窗口以在时间窗口内保持计数

Apache-Kafka,batch.size 与 buffer.memory

scala - 测试kafka和flink集成流程

docker - Zookeeper Pod无法访问已安装的持久卷声明