apache-kafka - 每个消费者 Kafka 主题的最大订阅限制

标签 apache-kafka kafka-consumer-api

消费者可以在 Kafka 中订阅的主题的最大限制是多少。我无法在任何地方找到此值。

如果消费者订阅了500000个或更多主题,性能是否会下降。

最佳答案

从代理的角度来看,单个 Kafka 集群中的 500,000 个或更多主题将是一个糟糕的设计。您通常希望将主题分区的数量减少到数万个。

如果您发现自己认为在 Kafka 中需要那么多主题,您可能会考虑创建较少数量的主题并拥有 500,000 或更多的键。 Kafka 中的 key 数量是无限的。

关于apache-kafka - 每个消费者 Kafka 主题的最大订阅限制,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46284641/

相关文章:

ruby - Zookeeper 或 Kafka 连接错误,显示 Kazoo::VersionNotSupported 错误

Python kafka消费者不会消费来自生产者的消息

java - 卡夫卡消费者: controlled reading from topic

java - Kafka 消费者抛出 java.lang.OutOfMemoryError : Direct buffer memory

java - 卡夫卡 : Alter number of partitions for a specific topic using java

java - 在java中实现微批处理

docker - 图kafka hostPort映射

amazon-s3 - Kafka Connect Distributed tasks.max 配置设置的理想值?

apache-kafka - 如何在 kafka 中强制执行模式验证

go - 如何在 Sarama 中使用组 ID