apache-kafka - Kafka regex-topics/听多个主题的实际限制是什么

标签 apache-kafka publish-subscribe telemetry kafka-topic

我正在探索不同的 PubSub 平台,我想知道 Kafka 中收听多个主题的限制是什么。例如考虑这个用例。我们有火车、车站入口大门、所有发布遥测数据的设备。目前这是在 MQ 上完成的,但随着数据速率的增加、智能火车等,我们需要转移到一个新的 PubSub/流媒体平台,当然 Kafka 也在该列表中。

在我看来,有两种策略可以将此遥测数据聚合到流中:

  • 消费聚合,其中每个火车/设备最初都有自己的主题,主题聚合是使用正则表达式主题/虚拟主题完成的
  • 聚合生产,其中所有列车都生产单个主题,消费者在必要时使用过滤器来挑选单个生产者

  • 据我了解,Kafka 不是特别适合大量主题(> 10.000),但可以做到。正则表达式主题是否能够聚合 2000、3000 个主题?

    最佳答案

    从技术角度来看,是可以做到的;但在实践中,这并不常见。为什么?动物园管理员。建议集群最大为 每个代理 4000 个分区 .这部分是由于为 Zookeeper 上的所有人执行领导选举的开销。
    我建议你在 Confluent 的博客上阅读这些关于这个有趣话题的博客文章:

  • How to choose the number of topics/partitions in a Kafka cluster?
  • Apache Kafka Supports 200K Partitions Per Cluster
  • Apache Kafka Made Simple: A First Glimpse of a Kafka Without ZooKeeper
  • 关于apache-kafka - Kafka regex-topics/听多个主题的实际限制是什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58876582/

    相关文章:

    apache-kafka - Kafka Rest 代理 JSON 模式验证

    php - redis pub/sub 在 php 中是否现实?

    java - Spring Kafka - 选择 @TopicPartition 会停用组中的消费者

    hadoop - Kafka Connect HDFS 接收器与 Azure Blob 存储

    json - 我是否需要自定义序列化程序来在 kafka 中生成 JSON 消息?

    azure-functions - AddApplicationInsightsTelemetry 在 Azure 函数中无法识别

    azure - 如何增加 Azure Analytics Applicationinsights 中分析查询结果的限制

    c - 使用 gstreamer 将遥测数据复用到 MPEG-ts 文件中

    java - 无法使用 Kafka 管理客户端 API 创建具有所需分区的 kafka 主题

    rss - Feedly 使用 SuperFeeder (Pubsubhubbub)。 feedly 如何允许用户订阅未使用 pubsubhubbub 发布的 RSS 提要?