我完整地阅读了Kafka 0.8.0的文档,但找不到这个问题的答案。如果有人有使用 Kafka 的经验,假设您的硬件没有达到故障点,它可以容纳的最大数据量是多少。我们计划将有效负载存储在 kafka 中以用于灾难恢复目的。
最佳答案
Kafka 本身没有限制。 当数据从生产者传入时,它将以文件段的形式写入磁盘,这些段会轮换 根据配置基于时间 (log.roll.hours) 或大小 (log.segment.bytes)。
根据可以关闭的保留配置(log.cleanup.policy、log.retention.mines、log.retention.bytes)删除较旧的段。
但请注意,代理将保持每个段文件打开,因此请确保相应地设置文件描述符限制。
代理配置文档: http://kafka.apache.org/documentation.html#brokerconfigs
关于apache-kafka - Kafka主题可以存储多少数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25002964/