我正在为大容量高速分布式应用程序编写 Kafka Consumer。我只有一个主题，但收到的消息率非常高。为更多消费者提供服务的多个分区将适合此用例。最好的消费方式是拥有多个流阅读器。根据文档或可用示例，ConsumerConnector 给出的 KafkaStreams 数量基于主题数量。想知道如何 [基于分区] 获得多个 KafkaStream 读取器，以便我可以跨每个流一个线程，或者在多个线程中从同一个 KafkaStream 中读取会从多个分区进行并发读取？
非常感谢任何见解。
最佳答案
想分享我从邮件列表中发现的内容:
您在主题图中传递的数字控制一个主题被分成多少个流。在您的情况下，如果您传入 1，则所有 10 个分区的数据都将被送入 1 个流。如果传入 2，则 2 个流中的每一个都会从 5 个分区中获取数据。如果传入 11 个，则其中 10 个将从 1 个分区中获取数据，而 1 个流则什么也得不到。
通常，您需要在自己的线程中迭代每个流。这是因为如果没有新事件，每个流都可能永远阻塞。
示例片段:
topicCount.put(msgTopic, new Integer(partitionCount));
Map<String, List<KafkaStream<byte[], byte[]>>> consumerStreams = connector.createMessageStreams(topicCount);
List<KafkaStream<byte[], byte[]>> streams = consumerStreams.get(msgTopic);
for (final KafkaStream stream : streams) {
ReadTask task = new ReadTask(stream, msgTopic);
task.addObserver(this.msgObserver);
tasks.add(task); executor.submit(task);
}
关于java - Apache Kafka - 关于主题/分区的 KafkaStream，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23590808/